正确robots写法，解决百度搜索不显示缩略图问题
网站上线http://zhimo.yuanzhumuban.cc/有一年左右时间了，百度搜索显示略缩图少之又少，通过自己这几天的观察发现。
结合百度站长平台的 robots 工具和抓取诊断工具检查后，发现果然是 robots 误禁封造成的！ 百度索引变动一直以慢著称，所以 robots 写错了也不会在十天半个月突显出来，真是坑的一 B！ 通过抓取诊断工具，发现普通图片可以抓取，带参数的图片就抓取失败。经过多次测试，发现问题出现在 Allow: /*.png$ 这种写法，是以 png 结尾，尾部不再包含其他任何字符，因此，上文提到的 PHP+Nginx 缩略图形式 x.png?w=480
附上个人配置的robots，仅供参考：
# Robots
User-agent: Baiduspider
Allow: /*.png$
Allow: /*.jpg$
Allow: /*.jpeg$
Allow: /*.gif$
Allow: /*.bmp$
Allow: /*.bmp$
Allow: /skin/pengcheng1688/*
Disallow: /api/
Disallow: /install/
Disallow: /member/
Disallow: /skin/
Disallow: /template/
Disallow: /upgrade/
Disallow: /comment/*
Sitemap: http://zhimo.yuanzhumuban.cc/sitemaps.xml
Sitemap: http://zhimo.yuanzhumuban.cc/hotkey/
Sitemap: http://zhimo.yuanzhumuban.cc/feed/rss.php?mid=5
Sitemap: http://zhimo.yuanzhumuban.cc/feed/rss.php?mid=12
Sitemap: http://zhimo.yuanzhumuban.cc/feed/rss.php?mid=21 User-agent: Baiduspider-image
Allow: /*.png$
Allow: /*.jpg$
Allow: /*.jpeg$
Allow: /*.gif$
Allow: /*.bmp$
Allow: /*.bmp$
Allow: /skin/pengcheng1688/*
Disallow: /api/* User-agent: Googlebot
Sitemap: http://zhimo.yuanzhumuban.cc/sitemaps.xml
Sitemap: http://zhimo.yuanzhumuban.cc/hotkey/
Sitemap: http://zhimo.yuanzhumuban.cc/feed/rss.php?mid=5
Sitemap: http://zhimo.yuanzhumuban.cc/feed/rss.php?mid=12
Sitemap: http://zhimo.yuanzhumuban.cc/feed/rss.php?mid=21
Disallow: /api/
Disallow: /member/
Disallow: /skin/
Disallow: /template/
Disallow: /upgrade/
Disallow: /comment/* User-agent: googlebot-image
Allow: /*.png$
Allow: /*.jpg$
Allow: /*.jpeg$
Allow: /*.gif$
Allow: /*.bmp$
Allow: /*.bmp$
Allow: /skin/pengcheng1688/*
Disallow: /api/
Disallow: /member/
Disallow: /template/
Disallow: /upgrade/
Disallow: /comment/* User-agent: Sogou web spider
Sitemap: http://zhimo.yuanzhumuban.cc/sitemaps.xml
Disallow: /api/
Disallow: /member/
Disallow: /skin/
Disallow: /template/
Disallow: /upgrade/
Disallow: /comment/* User-agent: Sogou inst spider
Sitemap: http://zhimo.yuanzhumuban.cc/sitemaps.xml
Disallow: /api/
Disallow: /member/
Disallow: /skin/
Disallow: /template/
Disallow: /upgrade/
Disallow: /comment/* User-agent: Sogou spider2
Sitemap: http://zhimo.yuanzhumuban.cc/sitemaps.xml
Disallow: /api/
Disallow: /member/
Disallow: /skin/
Disallow: /template/
Disallow: /upgrade/
Disallow: /comment/* User-agent: Sosospider
Sitemap: http://zhimo.yuanzhumuban.cc/sitemaps.xml
Disallow: /api/
Disallow: /member/
Disallow: /skin/
Disallow: /template/
Disallow: /upgrade/
Disallow: /comment/* User-agent: yisouspider
Disallow: /api/
Disallow: /member/
Disallow: /skin/
Disallow: /template/
Disallow: /upgrade/
Disallow: /comment/* User-agent: 360Spider
Sitemap: http://zhimo.yuanzhumuban.cc/sitemaps.xml
Disallow: /api/
Disallow: /member/
Disallow: /skin/
Disallow: /template/
Disallow: /upgrade/
Disallow: /comment/* User-agent: *
Disallow: /api/
Disallow: /install/
Disallow: /member/
Disallow: /skin/
Disallow: /template/
Disallow: /upgrade/
Disallow: /comment/*
Disallow: /?*
Disallow: /*?*
Disallow: /api/*
正确robots写法，解决百度搜索不显示缩略图问题的更多相关文章
- Android发布apk后解决百度地图不显示的问题
今天在做Android apk发布时,发现发布后不能显示百度地图,结合网上的信息,及自己的实验,终于可以了.原来在Eclipse上直接run的是测试版本,而发布后是运行版本,两个版本的SHA1值不一样 ...
- 利用python爬取海量疾病名称百度搜索词条目数的爬虫实现
实验原因: 目前有一个医疗百科检索项目,该项目中对关键词进行检索后,返回的结果很多,可惜结果的排序很不好,影响用户体验.简单来说,搜索出来的所有符合疾病中,有可能是最不常见的疾病是排在第一个的,而最有 ...
- window系统谷歌浏览器百度搜索框光标不能输入并且不显示光标----自制bug以及解决
--------------------bug无处不在------------------------- 今天在搞代码的时候,保存文件无意中犯了个致命错误,文件名称写入非法字符,可能与Windows系 ...
- 解决dede搜索页面只能显示10条信息解决方案
解决dede搜索页面只能显示10条信息解决方案,感觉显示的信息太少,这时就要想办法去解决一下.看看有什么好办法来解决一下这个问题. dede搜索页模板中,默认只能显示10条记录. 打开dede搜索页模 ...
- 百度地图API显示多个标注点,解决提示信息问题以及给标注增加地图旁的文字连接提示的另一种解决办法
原文:百度地图API显示多个标注点,解决提示信息问题以及给标注增加地图旁的文字连接提示的另一种解决办法 公司的网站改版要求在一个页面显示百度地图.上面要同时显示很多标注点,标注点当然要有提示信息嘛,提 ...
- web自动化测试---自动化脚本设置百度搜索每页显示条数
前面学的都是基础知识,本篇将进入实战练习 以百度“搜索设置”为对象进行测试用例的写作: 百度的搜索设置在首页的“设置”里面,鼠标悬停之后即可显示,如下图红框位置: 测试目标是,修改每页的显示条数为50 ...
- python 全栈开发，Day50(Javascript简介,第一个JavaScript代码,数据类型,运算符,数据类型转换,流程控制,百度换肤,显示隐藏)
一.Javascript简介 Web前端有三层: HTML:从语义的角度,描述页面结构 CSS:从审美的角度,描述样式(美化页面) JavaScript:从交互的角度,描述行为(提升用户体验) Jav ...
- 前端JavaScript(1) --Javascript简介,第一个JavaScript代码,数据类型,运算符,数据类型转换,流程控制,百度换肤,显示隐藏
一.Javascript简介 Web前端有三层: HTML:从语义的角度,描述页面结构 CSS:从审美的角度,描述样式(美化页面) JavaScript:从交互的角度,描述行为(提升用户体验) Jav ...
- 百度搜索 “Java面试题” 前200页（面试必看）
前言 本文中的题目来源于网上的一篇文章<百度搜索 "Java面试题" 前200页>,但该文章里面只有题目,没有答案.因此,我整理了一些答案发布于本文.本文整理答案的原则 ...
随机推荐
- docker+nginx部署静态网页(html)
我看了下网上都是部署单个.html页面的实例.所以今天试试多个.html文件的部署. 因为之前docker部署过vue.js打包的项目,所以按上次部署方式部署.结果还真行,只是这次部署的是小滴课堂上的 ...
- Influx Sql系列教程四：series/point/tag/field
influxdb中的一条记录point,主要可以分为三类,必须存在的time(时间),string类型的tag,以及其他成员field:而series则是一个measurement中保存策略和tag集 ...
- javascript循环遍历数组输出key value
javascript循环遍历数组输出key value用$.each方法肯定不行的 所以采用如下方法<pre> markers = []; markers[2]=3; markers[3] ...
- php_mvc实现步骤三，四
3.match_mvc MVC 以ecshop的前台为例: 功能一: 首页 购物车数据,商品分类数据,其他的首页需要的数据 功能二: 拍卖活动 购物车数据,商品分类数据,拍卖相关数据 功能三: 团购商 ...
- python中使用multipart/form-data请求上传文件
最近测试的接口是上传文件的接口,上传单个文件,我主要使用了2种方法~ 接口例如: URL: http://www.baidu.com/*** method:post 参数: { "salar ...
- Python基础 — eval 函数的作用
eval函数就是实现list.dict.tuple与str之间的相互转化str函数把list,dict,tuple转为为字符串 # 字符串转换成列表a = "[[1,2], [3,4], [ ...
- while 语句的逻辑
# i =3# username = '大天天'# password = 123# while i > 0:# name = input('请输入你的名字:')# i -= 1# if name ...
- php策略模式实现简单计算器
html: <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF ...
- logrus 剖析之 hook
logrus 通过实现 Hook接口扩展 hook 机制,可以根据需求将日志分发到任意的存储介质, 比如 es, mq 或者监控报警系统,及时获取异常日志.可以说极大的提高了日志系统的可扩展性. ho ...
- 全栈项目|小书架|微信小程序-首页水平轮播实现
首页效果 首页功能主要有 搜索(下篇文章介绍) 图书列表 图书列表 分析一波: 列表是水平滑动 点击列表会有按压效果:布局整体缩小 每个布局的信息从上到下排列分别是:图片.书名.作者.出版社 每个布局 ...