User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot-SA
Disallow: /
User-agent: SemrushBot-BA
Disallow: /
User-agent: YandexBot/3.0
Disallow: /
User-agent: coccocbot-web/1.0
Disallow: /
User-agent: linkdexbot/2.0
Disallow: /
User-agent: DotBot/1.1
Disallow: /
User-Agent: YisouSpider
Disallow: /
User-Agent: MJ12bot
Disallow: /
User-Agent: BOT
Disallow: /
User-Agent: CrawlDaddy
Disallow: /
User-Agent: ApacheBench
Disallow: /
User-Agent: Swiftbot
Disallow: /
User-Agent: AhrefsBot
Disallow: /
User-Agent: ZmEu
Disallow: /
User-Agent: WinHttp
Disallow: /
User-Agent: EasouSpider
Disallow: /
User-Agent: HttpClient
Disallow: /
User-Agent: YYSpider
Disallow: /
User-Agent: jaunty
Disallow: /
User-Agent: oBot
Disallow: /
User-Agent: Linguee Bot
Disallow: /
User-Agent: Bytespider
Disallow: /
User-Agent: BLEXBot
Disallow: /
User-Agent: CompSpyBot
Disallow: /
User-Agent: Exabot
Disallow: /
User-Agent: ZoominfoBot
Disallow: /
User-Agent: ExtLinksBot
Disallow: /
User-Agent: AlphaBot
Disallow: /
User-Agent: perl
Disallow: /
User-Agent: Wget
Disallow: /
User-Agent: ZmEu
Disallow: /
User-Agent: Python
Disallow: /
User-Agent: mail.RU
Disallow: /
User-Agent: ApacheBench
Disallow: /
User-Agent: Swiftbot
Disallow: /
User-Agent: AhrefsBot
Disallow: /
User-Agent: ZmEu
Disallow: /
User-Agent: WinHttp
Disallow: /
User-Agent: EasouSpider
Disallow: /
User-Agent: HttpClient
Disallow: /
User-Agent: YYSpider
Disallow: /
User-Agent: jaunty
Disallow: /
User-Agent: oBot
Disallow: /
User-Agent: Linguee Bot
Disallow: /
User-Agent: Bytespider
Disallow: /
User-Agent: BLEXBot
Disallow: /
User-Agent: CompSpyBot
Disallow: /
User-Agent: Exabot
Disallow: /
User-Agent: ExtLinksBot
Disallow: /
User-Agent: AlphaBot
Disallow: /
User-Agent: perl
Disallow: /
User-Agent: Wget
Disallow: /
User-Agent: ZmEu
Disallow: /
User-Agent: Python
Disallow: /
User-Agent: mail.RU
Disallow: /
User-Agent: Go-http-client
Disallow: /

User-agent: *
Disallow: /admin/
Disallow: /adminlogin/
Disallow: /log/
Disallow: /update/
Disallow: /history/
Disallow: /test/
Disallow: /data/

都是一些无效的爬虫访问

网站迁移服务器后CPU、内存飙升，设置robots.txt 问题的更多相关文章

  1. 购买 Linux VPS 服务器后简单的安全设置

    我们在购买了 Linux 系统的 VPS 或服务器后,一般的商家都会给你一个 root 权限的账号,并且默认的密码不会太长,这是很不安全的.经常有客户因为弱口令而被黑客暴力破解密码导致 VPS 服务器 ...

  2. dedecms 蜘蛛抓取设置 robots.txt

    我们可以用robots.txt屏蔽蜘蛛文件来跟蜘蛛来达成一个协议,但现在很少注重,其实用好robots.txt屏蔽蜘蛛文件,能给你的网站提高权重,接下来重庆SEO讲一下robots.txt屏蔽蜘蛛文件 ...

  3. phpcms 网站迁移服务器

    相信很多人不知道怎么去把PHPCMS V9进行搬家 在本地测试好的phpcms v9网站需要搬到服务器上,可以用以下方法: 1.上传所有的程序文件(如果主机支持压缩包在线解压,那么就打成zip的包,f ...

  4. 闰秒导致MySQL服务器的CPU sys过高

    今天,有个哥们碰到一个问题,他有一个从库,只要是启动MySQL,CPU使用率就非常高,其中sys占比也比较高,具体可见下图. 注意:他的生产环境是物理机,单个CPU,4个Core. 于是,他抓取了CP ...

  5. robots.txt网站爬虫文件设置

    目录: 什么是robots.txt robots.txt使用误区 robots.txt使用技巧 什么是robots.txt? robots.txt是搜索引擎中访问网站的时候要查看的第一个文件.Robo ...

  6. WordPress迁移服务器后报Nginx404的问题

    Wordpress迁移服务器后,只有主页能打开,其它页面都显示404 页面无法访问. 出现这个问题是因为我的Wordpress之前用的服务器是apache+PHP组合,换了服务器后变成了Nginx+P ...

  7. robots.txt防止向黑客泄露网站的后台和隐私

    为了不让搜索引擎索引网站的后台页面或其它隐私页面,我们将这些路径在robots.txt文件中禁用了.但矛盾的是,robots.txt文件任何人都可以访问,包括黑客.为了禁止搜索引擎,我们把隐私泄露给了 ...

  8. IIS设置文件 Robots.txt 禁止爬虫

    robots.txt用于禁止网络爬虫访问网站指定目录.robots.txt的格式采用面向行的语法:空行.注释行(以#打头).规则行.规则行的格式为:Field: value.常见的规则行:User-A ...

  9. python glances来监控linux服务器CPU 内存 IO使用

    什么是 Glances? Glances 是一个由 Python 编写,使用 psutil 库来从系统抓取信息的基于 curses 开发的跨平台命令行系统监视工具. 通过 Glances,我们可以监视 ...

随机推荐

  1. Django学习——静态文件配置、request对象方法、pycharm如何链接数据库、Django如何指定数据库、Django orm操作

    静态文件配置 # 1.静态文件 网站所使用的已经提前写好的文件 css文件 js文件 img文件 第三方文件 我们在存储静态文件资源的时候一般默认都是放在static文件夹下 # 2.Django静态 ...

  2. CoreWCF 1.0.0 发布，微软正式支持WCF

    2022年4月28日,我们达到了一个重要的里程碑,并发布了CoreWCF的1.0.0版本.对Matt Connew (微软WCF团队成员)来说,这是5年前即 2017年1月开始的漫长旅程的结束.Mat ...

  3. 华硕主板安装Ubuntu双系统无法启动解决办法

    问题描述: 在安装完Ubuntu后,开机后没有启动项可以选择,而是直接进入win10系统. 解决办法: 开机进入bios,选择 高级模式 (Advance model),进入 启动(boot)选项卡, ...

  4. mybatis通用功能代码生成工具

    mybatis操作数据库的过程中,如果只考虑单表操作,mapper和dao层基本80%的都是固定的,故而可以使用工具进行生成,文末提供自己编写的工具(基于mysql存储过程):作者其实就是使用(myb ...

  5. PHP代码审计之命令注入攻击

    PHP漏洞-命令注入攻击 命令注入攻击 PHP中可以使用下列5个函数来执行外部的应用程序或函数 system.exec.passthru.shell_exec.``(与shell_exec功能相同) ...

  6. 微服务生态组件之Spring Cloud LoadBalancer详解和源码分析

    Spring Cloud LoadBalancer 概述 Spring Cloud LoadBalancer目前Spring官方是放在spring-cloud-commons里,Spring Clou ...

  7. 现有教学数据库JX_DB,作业

    现有教学数据库JX_DB,数据库有以下三个基本表: 学生表student,它由学号sno.姓名sname.性别sex.出生日期Bdate.所在系dept五个属性构成.其中,学号不能为空,值是唯一的: ...

  8. Spark框架——WordCount案例实现

    package wordcount import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} ...

  9. MySql笔记Ⅰ

    MySql part 1: 数据库概念 数据库:(DataBase, 简称DB):数据库中的数据按一定的数据模型组织.描述和储存,具有较小的冗余度.较高的数据独立性和易扩展性,并可为各种 用户共享 数 ...

  10. 类型转换——JavaSE基础

    类型转换 类型判断 可以通过Instanceof关键字判断左操作数是否是右操作数的父类或本身 强制类型转换 不能对布尔值进行转换 不能将对象类型转换为不相关的类型 把高容量转向低容量时,需要进行强制类 ...