User-agent: SemrushBotDisallow: /User-agent: SemrushBot-SADisallow: /User-agent: SemrushBot-BADisallow: /User-agent: YandexBot/3.0Disallow: /User-agent: coccocbot-web/1.0Disallow: /User-agent: linkdexbot/2.0Disallow: /User-agent: DotBot/1.1Disallow:…

我们在购买了 Linux 系统的 VPS 或服务器后,一般的商家都会给你一个 root 权限的账号,并且默认的密码不会太长,这是很不安全的.经常有客户因为弱口令而被黑客暴力破解密码导致 VPS 服务器被入侵,并用来干坏事.所以,在开通了 Linux 系统的 VPS 或服务器后,我们有必要做一些基本的安全设置. 一.关闭 SSH 密码登陆首先,你需要有自己的 SSH Key,如果你使用 Windows 系统,可以用 Putty 下的PUTTYGEN.EXE生成私匙和公匙.第一步,运行PUTTYGE…

我们可以用robots.txt屏蔽蜘蛛文件来跟蜘蛛来达成一个协议,但现在很少注重,其实用好robots.txt屏蔽蜘蛛文件,能给你的网站提高权重,接下来重庆SEO讲一下robots.txt屏蔽蜘蛛文件对网站的好处. 当蜘蛛来到你网站的时候,他会首先抓取robots,然后才知道哪些可以抓,哪些不可以抓,所以我们要先给他看到可以抓的,然后才告诉他哪些不能抓 User-agent: *  允许所有蜘蛛来网站中抓起文件 robots.txt写法大全和robots.txt语法的作用 1如果允许所有搜索引擎…

相信很多人不知道怎么去把PHPCMS V9进行搬家 在本地测试好的phpcms v9网站需要搬到服务器上,可以用以下方法: 1.上传所有的程序文件(如果主机支持压缩包在线解压,那么就打成zip的包,ftp上传到对应目录,在线解压). 2.在本地采用myphpadmin等数据库管理软件导出本地数据库sql文件,然后用editplus等软件批量更换域名地址,比如本来是本地的http://localhost/phpcms,现在的域名是www.a.com,那么就需要批量将http://localhost…

今天,有个哥们碰到一个问题,他有一个从库,只要是启动MySQL,CPU使用率就非常高,其中sys占比也比较高,具体可见下图. 注意:他的生产环境是物理机,单个CPU,4个Core. 于是,他抓取了CPU的历史信息,发现CPU飙高大概是从2017年1月1日8点10分开始的. 但是这个从库的负载并不高,通过他反馈的"show processlist"和"show engine innodb status\G"的结果可以看出来 show processlist mysql…

目录: 什么是robots.txt robots.txt使用误区 robots.txt使用技巧 什么是robots.txt? robots.txt是搜索引擎中访问网站的时候要查看的第一个文件.Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的. 当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围:如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面. robots.…

Wordpress迁移服务器后,只有主页能打开,其它页面都显示404 页面无法访问. 出现这个问题是因为我的Wordpress之前用的服务器是apache+PHP组合,换了服务器后变成了Nginx+PHP,所以我判断是伪静态出了问题.如果大家要排查确认是不是伪静态的问题,可以将wordpress固定链接改为 “朴素” 数字型,正常情况下访问二级页面就不会有问题了. 针对这个问题官方是有解决方案的,在Nginx的配置文件中location段添加以下代码即可: if (-f $request_fil…

为了不让搜索引擎索引网站的后台页面或其它隐私页面,我们将这些路径在robots.txt文件中禁用了.但矛盾的是,robots.txt文件任何人都可以访问,包括黑客.为了禁止搜索引擎,我们把隐私泄露给了黑客. robots.txt干什么的? robots.txt基本上每个网站都用,而且放到了网站的根目录下,任何人都可以直接输入路径打开并查看里面的内容,如http://www.cnblogs.com/robots.txt.该文件用于告诉搜索引擎,哪些页面可以去抓取,哪些页面不要抓取. robots.…

robots.txt用于禁止网络爬虫访问网站指定目录.robots.txt的格式采用面向行的语法:空行.注释行(以#打头).规则行.规则行的格式为:Field: value.常见的规则行:User-Agent.Disallow.Allow行. User-Agent行 User-Agent: robot-name User-Agent: * Disallow和Allow行 Disallow: /path Disallow: # 空字符串,起通配符效果,全禁止 Allow: /path Allow:…

什么是 Glances? Glances 是一个由 Python 编写,使用 psutil 库来从系统抓取信息的基于 curses 开发的跨平台命令行系统监视工具. 通过 Glances,我们可以监视 CPU,平均负载,内存,网络流量,磁盘 I/O,其他处理器 和 文件系统 空间的利用情况. Glances 是一个用来监视 GNU/Linux 和 FreeBSD 操作系统的 GPL 授权的自由软件. Glances 同时也提供了很多实用的选项. 其中我们能够在配置文件见到的一项主要的功能就是设置…