User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot-SA
Disallow: /
User-agent: SemrushBot-BA
Disallow: /
User-agent: YandexBot/3.0
Disallow: /
User-agent: coccocbot-web/1.0
Disallow: /
User-agent: linkdexbot/2.0
Disallow: /
User-agent: DotBot/1.1
Disallow: /
User-Agent: YisouSpider
Disallow: /
User-Agent: MJ12bot
Disallow: /
User-Agent: BOT
Disallow: /
User-Agent: CrawlDaddy
Disallow: /
User-Agent: ApacheBench
Disallow: /
User-Agent: Swiftbot
Disallow: /
User-Agent: AhrefsBot
Disallow: /
User-Agent: ZmEu
Disallow: /
User-Agent: WinHttp
Disallow: /
User-Agent: EasouSpider
Disallow: /
User-Agent: HttpClient
Disallow: /
User-Agent: YYSpider
Disallow: /
User-Agent: jaunty
Disallow: /
User-Agent: oBot
Disallow: /
User-Agent: Linguee Bot
Disallow: /
User-Agent: Bytespider
Disallow: /
User-Agent: BLEXBot
Disallow: /
User-Agent: CompSpyBot
Disallow: /
User-Agent: Exabot
Disallow: /
User-Agent: ZoominfoBot
Disallow: /
User-Agent: ExtLinksBot
Disallow: /
User-Agent: AlphaBot
Disallow: /
User-Agent: perl
Disallow: /
User-Agent: Wget
Disallow: /
User-Agent: ZmEu
Disallow: /
User-Agent: Python
Disallow: /
User-Agent: mail.RU
Disallow: /
User-Agent: ApacheBench
Disallow: /
User-Agent: Swiftbot
Disallow: /
User-Agent: AhrefsBot
Disallow: /
User-Agent: ZmEu
Disallow: /
User-Agent: WinHttp
Disallow: /
User-Agent: EasouSpider
Disallow: /
User-Agent: HttpClient
Disallow: /
User-Agent: YYSpider
Disallow: /
User-Agent: jaunty
Disallow: /
User-Agent: oBot
Disallow: /
User-Agent: Linguee Bot
Disallow: /
User-Agent: Bytespider
Disallow: /
User-Agent: BLEXBot
Disallow: /
User-Agent: CompSpyBot
Disallow: /
User-Agent: Exabot
Disallow: /
User-Agent: ExtLinksBot
Disallow: /
User-Agent: AlphaBot
Disallow: /
User-Agent: perl
Disallow: /
User-Agent: Wget
Disallow: /
User-Agent: ZmEu
Disallow: /
User-Agent: Python
Disallow: /
User-Agent: mail.RU
Disallow: /
User-Agent: Go-http-client
Disallow: /

User-agent: *
Disallow: /admin/
Disallow: /adminlogin/
Disallow: /log/
Disallow: /update/
Disallow: /history/
Disallow: /test/
Disallow: /data/

都是一些无效的爬虫访问

网站迁移服务器后CPU、内存飙升，设置robots.txt 问题的更多相关文章

  1. 购买 Linux VPS 服务器后简单的安全设置

    我们在购买了 Linux 系统的 VPS 或服务器后,一般的商家都会给你一个 root 权限的账号,并且默认的密码不会太长,这是很不安全的.经常有客户因为弱口令而被黑客暴力破解密码导致 VPS 服务器 ...

  2. dedecms 蜘蛛抓取设置 robots.txt

    我们可以用robots.txt屏蔽蜘蛛文件来跟蜘蛛来达成一个协议,但现在很少注重,其实用好robots.txt屏蔽蜘蛛文件,能给你的网站提高权重,接下来重庆SEO讲一下robots.txt屏蔽蜘蛛文件 ...

  3. phpcms 网站迁移服务器

    相信很多人不知道怎么去把PHPCMS V9进行搬家 在本地测试好的phpcms v9网站需要搬到服务器上,可以用以下方法: 1.上传所有的程序文件(如果主机支持压缩包在线解压,那么就打成zip的包,f ...

  4. 闰秒导致MySQL服务器的CPU sys过高

    今天,有个哥们碰到一个问题,他有一个从库,只要是启动MySQL,CPU使用率就非常高,其中sys占比也比较高,具体可见下图. 注意:他的生产环境是物理机,单个CPU,4个Core. 于是,他抓取了CP ...

  5. robots.txt网站爬虫文件设置

    目录: 什么是robots.txt robots.txt使用误区 robots.txt使用技巧 什么是robots.txt? robots.txt是搜索引擎中访问网站的时候要查看的第一个文件.Robo ...

  6. WordPress迁移服务器后报Nginx404的问题

    Wordpress迁移服务器后,只有主页能打开,其它页面都显示404 页面无法访问. 出现这个问题是因为我的Wordpress之前用的服务器是apache+PHP组合,换了服务器后变成了Nginx+P ...

  7. robots.txt防止向黑客泄露网站的后台和隐私

    为了不让搜索引擎索引网站的后台页面或其它隐私页面,我们将这些路径在robots.txt文件中禁用了.但矛盾的是,robots.txt文件任何人都可以访问,包括黑客.为了禁止搜索引擎,我们把隐私泄露给了 ...

  8. IIS设置文件 Robots.txt 禁止爬虫

    robots.txt用于禁止网络爬虫访问网站指定目录.robots.txt的格式采用面向行的语法:空行.注释行(以#打头).规则行.规则行的格式为:Field: value.常见的规则行:User-A ...

  9. python glances来监控linux服务器CPU 内存 IO使用

    什么是 Glances? Glances 是一个由 Python 编写,使用 psutil 库来从系统抓取信息的基于 curses 开发的跨平台命令行系统监视工具. 通过 Glances,我们可以监视 ...

随机推荐

  1. IOC容器--1.12. 基于 Java 的容器配置

    用Java的方式配置Spring ,不使用Spring的XML配置,全权交给Java来做 JavaConfig是Spring的一个子项目,在Sring 4  之后成为核心功能 这种纯Java的配置方式 ...

  2. MongoDB排序时内存大小限制和创建索引的注意事项！

    线上服务的MongoDB中有一个很大的表,我查询时使用了sort()根据某个字段进行排序,结果报了下面这个错误: [Error] Executor error during find command ...

  3. 关于利用STL栈求解四则中缀表达式以及中缀表达式转逆波兰表达式和逆波兰表达式的求解

    今天总结一下栈的一个重要应用---四则数学表达式的求解 数学表达式的求解是栈的一个重要的应用,在计算机的应用中 如果求解一个四则运算表达式,我们可能会直接写一个程序例如什么printf("% ...

  4. Sentinel Dashboard 规则 持久化到Nacos

    本篇文章基于sentinel1.8.4版本进行改造的.本篇主要记录改造步骤 1.下载源码 https://github.com/alibaba/Sentinel 2.打开下载的sentinel,到se ...

  5. JavaScript与函数式编程

    JavaScript与函数式编程 绝大多数编程语言都会有函数的概念(或者说所有的?我不太确定),他们都可以做出类似的操作: function(x) { return x * x } 但是Javascr ...

  6. FinClip 前端之 VUE 核心原理总结

    小程序框架有很多,都是支持前端JavaScript语言的,也是支持 vue.js 框架的.FinClip 小程序是兼容各家平台的.所以在学习了框架使用之后的进阶就要熟悉框架的底层原理. 1.数据响应式 ...

  7. 好客租房22-react组件的两种创建方式（类组件）

    2.2使用类创建组件 类组件:使用ES6的class创建的组件 约定1:类组件必须以大写字母开头 约定2:类组件应该继承react.component父类 从中可以使用父类的方法和属性 约定3:组件必 ...

  8. MySQL数据库和Oracle数据库的区别

    Mysql数据库 由瑞典 MySQL AB 公司开发,目前属于 Oracle 公司.是一种中小型的关系型数据库. MySQL 数据库体积小.速度快.总体拥有成本低.开放源代码,其有着广泛的应用,一般中 ...

  9. MongoDB 分片集群

    每日一句 Medalist don't grow on trees, you have to nurture them with love, with hard work, with dedicati ...

  10. SQL中把汉字转换拼音码

    思路:在SQL中创建一个函数fn_GetPy(),函数的输入参数是一个汉字字符串,返回值是拼音码字符串. 创建函数语句: CREATE function fn_GetPy(@str nvarchar( ...