正确robots写法,解决百度搜索不显示缩略图问题
网站上线http://zhimo.yuanzhumuban.cc/有一年左右时间了,百度搜索显示略缩图少之又少,通过自己这几天的观察发现。
结合百度站长平台的 robots 工具和抓取诊断工具检查后,发现果然是 robots 误禁封造成的! 百度索引变动一直以慢著称,所以 robots 写错了也不会在十天半个月突显出来,真是坑的一 B! 通过抓取诊断工具,发现普通图片可以抓取,带参数的图片就抓取失败。经过多次测试,发现问题出现在 Allow: /*.png$ 这种写法,是以 png 结尾,尾部不再包含其他任何字符,因此,上文提到的 PHP+Nginx 缩略图形式 x.png?w=480
附上个人配置的robots,仅供参考:
# Robots
User-agent: Baiduspider
Allow: /*.png$
Allow: /*.jpg$
Allow: /*.jpeg$
Allow: /*.gif$
Allow: /*.bmp$
Allow: /*.bmp$
Allow: /skin/pengcheng1688/*
Disallow: /api/
Disallow: /install/
Disallow: /member/
Disallow: /skin/
Disallow: /template/
Disallow: /upgrade/
Disallow: /comment/*
Sitemap: http://zhimo.yuanzhumuban.cc/sitemaps.xml
Sitemap: http://zhimo.yuanzhumuban.cc/hotkey/
Sitemap: http://zhimo.yuanzhumuban.cc/feed/rss.php?mid=5
Sitemap: http://zhimo.yuanzhumuban.cc/feed/rss.php?mid=12
Sitemap: http://zhimo.yuanzhumuban.cc/feed/rss.php?mid=21 User-agent: Baiduspider-image
Allow: /*.png$
Allow: /*.jpg$
Allow: /*.jpeg$
Allow: /*.gif$
Allow: /*.bmp$
Allow: /*.bmp$
Allow: /skin/pengcheng1688/*
Disallow: /api/* User-agent: Googlebot
Sitemap: http://zhimo.yuanzhumuban.cc/sitemaps.xml
Sitemap: http://zhimo.yuanzhumuban.cc/hotkey/
Sitemap: http://zhimo.yuanzhumuban.cc/feed/rss.php?mid=5
Sitemap: http://zhimo.yuanzhumuban.cc/feed/rss.php?mid=12
Sitemap: http://zhimo.yuanzhumuban.cc/feed/rss.php?mid=21
Disallow: /api/
Disallow: /member/
Disallow: /skin/
Disallow: /template/
Disallow: /upgrade/
Disallow: /comment/* User-agent: googlebot-image
Allow: /*.png$
Allow: /*.jpg$
Allow: /*.jpeg$
Allow: /*.gif$
Allow: /*.bmp$
Allow: /*.bmp$
Allow: /skin/pengcheng1688/*
Disallow: /api/
Disallow: /member/
Disallow: /template/
Disallow: /upgrade/
Disallow: /comment/* User-agent: Sogou web spider
Sitemap: http://zhimo.yuanzhumuban.cc/sitemaps.xml
Disallow: /api/
Disallow: /member/
Disallow: /skin/
Disallow: /template/
Disallow: /upgrade/
Disallow: /comment/* User-agent: Sogou inst spider
Sitemap: http://zhimo.yuanzhumuban.cc/sitemaps.xml
Disallow: /api/
Disallow: /member/
Disallow: /skin/
Disallow: /template/
Disallow: /upgrade/
Disallow: /comment/* User-agent: Sogou spider2
Sitemap: http://zhimo.yuanzhumuban.cc/sitemaps.xml
Disallow: /api/
Disallow: /member/
Disallow: /skin/
Disallow: /template/
Disallow: /upgrade/
Disallow: /comment/* User-agent: Sosospider
Sitemap: http://zhimo.yuanzhumuban.cc/sitemaps.xml
Disallow: /api/
Disallow: /member/
Disallow: /skin/
Disallow: /template/
Disallow: /upgrade/
Disallow: /comment/* User-agent: yisouspider
Disallow: /api/
Disallow: /member/
Disallow: /skin/
Disallow: /template/
Disallow: /upgrade/
Disallow: /comment/* User-agent: 360Spider
Sitemap: http://zhimo.yuanzhumuban.cc/sitemaps.xml
Disallow: /api/
Disallow: /member/
Disallow: /skin/
Disallow: /template/
Disallow: /upgrade/
Disallow: /comment/* User-agent: *
Disallow: /api/
Disallow: /install/
Disallow: /member/
Disallow: /skin/
Disallow: /template/
Disallow: /upgrade/
Disallow: /comment/*
Disallow: /?*
Disallow: /*?*
Disallow: /api/*
正确robots写法,解决百度搜索不显示缩略图问题的更多相关文章
- Android发布apk后解决百度地图不显示的问题
今天在做Android apk发布时,发现发布后不能显示百度地图,结合网上的信息,及自己的实验,终于可以了.原来在Eclipse上直接run的是测试版本,而发布后是运行版本,两个版本的SHA1值不一样 ...
- 利用python爬取海量疾病名称百度搜索词条目数的爬虫实现
实验原因: 目前有一个医疗百科检索项目,该项目中对关键词进行检索后,返回的结果很多,可惜结果的排序很不好,影响用户体验.简单来说,搜索出来的所有符合疾病中,有可能是最不常见的疾病是排在第一个的,而最有 ...
- window系统谷歌浏览器百度搜索框光标不能输入并且不显示光标----自制bug以及解决
--------------------bug无处不在------------------------- 今天在搞代码的时候,保存文件无意中犯了个致命错误,文件名称写入非法字符,可能与Windows系 ...
- 解决dede搜索页面只能显示10条信息解决方案
解决dede搜索页面只能显示10条信息解决方案,感觉显示的信息太少,这时就要想办法去解决一下.看看有什么好办法来解决一下这个问题. dede搜索页模板中,默认只能显示10条记录. 打开dede搜索页模 ...
- 百度地图API显示多个标注点,解决提示信息问题以及给标注增加地图旁的文字连接提示的另一种解决办法
原文:百度地图API显示多个标注点,解决提示信息问题以及给标注增加地图旁的文字连接提示的另一种解决办法 公司的网站改版要求在一个页面显示百度地图.上面要同时显示很多标注点,标注点当然要有提示信息嘛,提 ...
- web自动化测试---自动化脚本设置百度搜索每页显示条数
前面学的都是基础知识,本篇将进入实战练习 以百度“搜索设置”为对象进行测试用例的写作: 百度的搜索设置在首页的“设置”里面,鼠标悬停之后即可显示,如下图红框位置: 测试目标是,修改每页的显示条数为50 ...
- python 全栈开发,Day50(Javascript简介,第一个JavaScript代码,数据类型,运算符,数据类型转换,流程控制,百度换肤,显示隐藏)
一.Javascript简介 Web前端有三层: HTML:从语义的角度,描述页面结构 CSS:从审美的角度,描述样式(美化页面) JavaScript:从交互的角度,描述行为(提升用户体验) Jav ...
- 前端JavaScript(1) --Javascript简介,第一个JavaScript代码,数据类型,运算符,数据类型转换,流程控制,百度换肤,显示隐藏
一.Javascript简介 Web前端有三层: HTML:从语义的角度,描述页面结构 CSS:从审美的角度,描述样式(美化页面) JavaScript:从交互的角度,描述行为(提升用户体验) Jav ...
- 百度搜索 “Java面试题” 前200页(面试必看)
前言 本文中的题目来源于网上的一篇文章<百度搜索 "Java面试题" 前200页>,但该文章里面只有题目,没有答案.因此,我整理了一些答案发布于本文.本文整理答案的原则 ...
随机推荐
- Hack The Box Web Pentest 2017
[20 Points] Lernaean [by [Arrexel] 问题描述: Your target is not very good with computers. Try and guess ...
- JIRA学习
Jira是Atlassian公司出品的一款事务管理软件.无论是“需求”,还是“BUG”,或是“任务”,都是“事务”的一种,所以Jira可以胜任非常多的角色:需求管理.缺陷跟踪.任务管理等等……因为Ji ...
- string 与 int double 的转化
#include <iostream> #include <string> #include <sstream> using namespace std; int ...
- LeetCode 506. 相对名次(Relative Ranks) 39
506. 相对名次 506. Relative Ranks 题目描述 给出 N 名运动员的成绩,找出他们的相对名次并授予前三名对应的奖牌.前三名运动员将会被分别授予"金牌",&qu ...
- [CMD] Jenkins上执行robot命令如果出现fail不往下走其他的CMD命令了
需要在后面加上||exit 0 robot -o %disSection%.xml --include %disSection% -v ENV:%envBmk% .||exit 0
- JMeter进行Apache Kafka负载测试
1.卡夫卡负载测试 在这个Apache Kafka教程中,我们将了解如何使用Apache JMeter,如何在Apache Kafka上执行Kafka负载测试.此外,这个Kafka负载测试教程教我们如 ...
- 第二篇:彻底搞清楚 Spring Boot 的配置文件 application.properties
前言 在Spring Boot中,配置文件有两种不同的格式,一个是properties,另一个是yaml. 虽然properties文件比较常见,但是相对于properties而言,yaml更加简洁明 ...
- 【C++札记】类的继承
继承 面向对象的设计思想,类对数据做了封装,并可以加入访问权限,类的继承是面向对象思想的精髓.类的继承可以让新类从以有的类中获得已有的特征.原有类称为基类或父类,新类称为派生类或子类. 语法: cla ...
- 函数的学习3——传递任意数量的实参&将函数存储在模块——参考Python编程从入门到实践
传递任意数量的实参 形参前加一个 * ,Python会创建一个已形参为名的空元组,将所有收到的值都放到这个元组中: def make_pizza(*toppings): print("\nM ...
- python函数知识五 推导式和内置函数一(了解)
17.推导式: 推导式:将for循环多行变成一行 list推导式:[] #普通模式 print([i for i in range(20)]) #循环模式 #[变量 for i in range(20 ...