User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot-SA
Disallow: /
User-agent: SemrushBot-BA
Disallow: /
User-agent: YandexBot/3.0
Disallow: /
User-agent: coccocbot-web/1.0
Disallow: /
User-agent: linkdexbot/2.0
Disallow: /
User-agent: DotBot/1.1
Disallow: /
User-Agent: YisouSpider
Disallow: /
User-Agent: MJ12bot
Disallow: /
User-Agent: BOT
Disallow: /
User-Agent: CrawlDaddy
Disallow: /
User-Agent: ApacheBench
Disallow: /
User-Agent: Swiftbot
Disallow: /
User-Agent: AhrefsBot
Disallow: /
User-Agent: ZmEu
Disallow: /
User-Agent: WinHttp
Disallow: /
User-Agent: EasouSpider
Disallow: /
User-Agent: HttpClient
Disallow: /
User-Agent: YYSpider
Disallow: /
User-Agent: jaunty
Disallow: /
User-Agent: oBot
Disallow: /
User-Agent: Linguee Bot
Disallow: /
User-Agent: Bytespider
Disallow: /
User-Agent: BLEXBot
Disallow: /
User-Agent: CompSpyBot
Disallow: /
User-Agent: Exabot
Disallow: /
User-Agent: ZoominfoBot
Disallow: /
User-Agent: ExtLinksBot
Disallow: /
User-Agent: AlphaBot
Disallow: /
User-Agent: perl
Disallow: /
User-Agent: Wget
Disallow: /
User-Agent: ZmEu
Disallow: /
User-Agent: Python
Disallow: /
User-Agent: mail.RU
Disallow: /
User-Agent: ApacheBench
Disallow: /
User-Agent: Swiftbot
Disallow: /
User-Agent: AhrefsBot
Disallow: /
User-Agent: ZmEu
Disallow: /
User-Agent: WinHttp
Disallow: /
User-Agent: EasouSpider
Disallow: /
User-Agent: HttpClient
Disallow: /
User-Agent: YYSpider
Disallow: /
User-Agent: jaunty
Disallow: /
User-Agent: oBot
Disallow: /
User-Agent: Linguee Bot
Disallow: /
User-Agent: Bytespider
Disallow: /
User-Agent: BLEXBot
Disallow: /
User-Agent: CompSpyBot
Disallow: /
User-Agent: Exabot
Disallow: /
User-Agent: ExtLinksBot
Disallow: /
User-Agent: AlphaBot
Disallow: /
User-Agent: perl
Disallow: /
User-Agent: Wget
Disallow: /
User-Agent: ZmEu
Disallow: /
User-Agent: Python
Disallow: /
User-Agent: mail.RU
Disallow: /
User-Agent: Go-http-client
Disallow: /

User-agent: *
Disallow: /admin/
Disallow: /adminlogin/
Disallow: /log/
Disallow: /update/
Disallow: /history/
Disallow: /test/
Disallow: /data/

都是一些无效的爬虫访问

网站迁移服务器后CPU、内存飙升，设置robots.txt 问题的更多相关文章

  1. 购买 Linux VPS 服务器后简单的安全设置

    我们在购买了 Linux 系统的 VPS 或服务器后,一般的商家都会给你一个 root 权限的账号,并且默认的密码不会太长,这是很不安全的.经常有客户因为弱口令而被黑客暴力破解密码导致 VPS 服务器 ...

  2. dedecms 蜘蛛抓取设置 robots.txt

    我们可以用robots.txt屏蔽蜘蛛文件来跟蜘蛛来达成一个协议,但现在很少注重,其实用好robots.txt屏蔽蜘蛛文件,能给你的网站提高权重,接下来重庆SEO讲一下robots.txt屏蔽蜘蛛文件 ...

  3. phpcms 网站迁移服务器

    相信很多人不知道怎么去把PHPCMS V9进行搬家 在本地测试好的phpcms v9网站需要搬到服务器上,可以用以下方法: 1.上传所有的程序文件(如果主机支持压缩包在线解压,那么就打成zip的包,f ...

  4. 闰秒导致MySQL服务器的CPU sys过高

    今天,有个哥们碰到一个问题,他有一个从库,只要是启动MySQL,CPU使用率就非常高,其中sys占比也比较高,具体可见下图. 注意:他的生产环境是物理机,单个CPU,4个Core. 于是,他抓取了CP ...

  5. robots.txt网站爬虫文件设置

    目录: 什么是robots.txt robots.txt使用误区 robots.txt使用技巧 什么是robots.txt? robots.txt是搜索引擎中访问网站的时候要查看的第一个文件.Robo ...

  6. WordPress迁移服务器后报Nginx404的问题

    Wordpress迁移服务器后,只有主页能打开,其它页面都显示404 页面无法访问. 出现这个问题是因为我的Wordpress之前用的服务器是apache+PHP组合,换了服务器后变成了Nginx+P ...

  7. robots.txt防止向黑客泄露网站的后台和隐私

    为了不让搜索引擎索引网站的后台页面或其它隐私页面,我们将这些路径在robots.txt文件中禁用了.但矛盾的是,robots.txt文件任何人都可以访问,包括黑客.为了禁止搜索引擎,我们把隐私泄露给了 ...

  8. IIS设置文件 Robots.txt 禁止爬虫

    robots.txt用于禁止网络爬虫访问网站指定目录.robots.txt的格式采用面向行的语法:空行.注释行(以#打头).规则行.规则行的格式为:Field: value.常见的规则行:User-A ...

  9. python glances来监控linux服务器CPU 内存 IO使用

    什么是 Glances? Glances 是一个由 Python 编写,使用 psutil 库来从系统抓取信息的基于 curses 开发的跨平台命令行系统监视工具. 通过 Glances,我们可以监视 ...

随机推荐

  1. C#/VB.NET 合并PDF页面

    本文以C#及vb.net代码为例介绍如何来实现合并PDF页面内容.本文中的合并并非将两个文档简单合并为一个文档,而是将多个页面内容合并到一个页面,目的是减少页面上的空白区域,使页面布局更为紧凑.合理. ...

  2. 【hexo博客搭建】本地搭建hexo博客(上)

    前言 本篇文章会从本地(Windows 10)搭建-主题更换-部署阿里云详细步骤,如果在搭建过程中,遇到问题,可以通过博客页脚下的QQ联系我,或者在下面评论留言 一.本地搭建 1.安装前置 1.1安装 ...

  3. a commponent required a bean of type XXXXXX that could not be found-2022新项目

    一.问题由来 目前刚入职一家新公司不久,公司的新项目采用DDD驱动领域设计来进行开发,架构这一块使用的是阿里巴巴开源的最新框架COLA4.0的架构. 主要是这个框架里面的分层设计.主要分为四层:ada ...

  4. vue中blob文件下载及其它下载方式

    一.Blob对象的了解 1:blob表示一个不可变.原始数据的类文件对象.Blob()构造函数返回一个新的blob对象:blob对象的内容由参数给出的值串联组成: 2:new Blob(array, ...

  5. tomcat 1.2 负载均衡

    实验效果:访问同一个ip或域名,轮询显示两个不同的tomcat界面, nginx服务器ip:192.168.213.4       tomcat服务器ip:192.168.213.3 实验环境:两台服 ...

  6. FinClip小程序+Rust（三）：一个加密钱包

    ​ 一个加密货币钱包,主要依赖加密算法构建.这部分逻辑无关iOS还是Android,特别适合用Rust去实现.我们看看如何实现一个生成一个模拟钱包,准备供小程序开发采用 前言 在之前的内容我们介绍了整 ...

  7. 解决 youtube 片尾内容被遮挡

    参考: https://www.pcdvd.com.tw/showthread.php?t=1137333 在 ublock 的自定义静态规则中加上这句话 www.youtube.com##.ytp- ...

  8. leetcode 3. Longest Substring Without Repeating Characters 无重复字符的最长子串

    一.题目大意 https://leetcode.cn/problems/longest-substring-without-repeating-characters/ 给定一个字符串 s ,请你找出其 ...

  9. 【系统】查看windows系统是否永久激活

    查看windows系统是否永久激活 查看激活时间 slmgr.vbs -xpr 查看激活详情 slmgr.vbs -dlv

  10. Proxmox 5.4使用vgpu_unlock，为GTX1060开启vGPU支持

    本文介绍如何为GTX1060显卡开启vGPU功能.消费级显卡不支持nvidia GRID vGPU功能.在2021年初,疫情激发了黑客的创作热情,给出了一个vgpu_unlock的补丁,可以让消费级显 ...