正确robots写法，解决百度搜索不显示缩略图问题
网站上线http://zhimo.yuanzhumuban.cc/有一年左右时间了，百度搜索显示略缩图少之又少，通过自己这几天的观察发现。
结合百度站长平台的 robots 工具和抓取诊断工具检查后，发现果然是 robots 误禁封造成的！ 百度索引变动一直以慢著称，所以 robots 写错了也不会在十天半个月突显出来，真是坑的一 B！ 通过抓取诊断工具，发现普通图片可以抓取，带参数的图片就抓取失败。经过多次测试，发现问题出现在 Allow: /*.png$ 这种写法，是以 png 结尾，尾部不再包含其他任何字符，因此，上文提到的 PHP+Nginx 缩略图形式 x.png?w=480
附上个人配置的robots，仅供参考：
# Robots
User-agent: Baiduspider
Allow: /*.png$
Allow: /*.jpg$
Allow: /*.jpeg$
Allow: /*.gif$
Allow: /*.bmp$
Allow: /*.bmp$
Allow: /skin/pengcheng1688/*
Disallow: /api/
Disallow: /install/
Disallow: /member/
Disallow: /skin/
Disallow: /template/
Disallow: /upgrade/
Disallow: /comment/*
Sitemap: http://zhimo.yuanzhumuban.cc/sitemaps.xml
Sitemap: http://zhimo.yuanzhumuban.cc/hotkey/
Sitemap: http://zhimo.yuanzhumuban.cc/feed/rss.php?mid=5
Sitemap: http://zhimo.yuanzhumuban.cc/feed/rss.php?mid=12
Sitemap: http://zhimo.yuanzhumuban.cc/feed/rss.php?mid=21 User-agent: Baiduspider-image
Allow: /*.png$
Allow: /*.jpg$
Allow: /*.jpeg$
Allow: /*.gif$
Allow: /*.bmp$
Allow: /*.bmp$
Allow: /skin/pengcheng1688/*
Disallow: /api/* User-agent: Googlebot
Sitemap: http://zhimo.yuanzhumuban.cc/sitemaps.xml
Sitemap: http://zhimo.yuanzhumuban.cc/hotkey/
Sitemap: http://zhimo.yuanzhumuban.cc/feed/rss.php?mid=5
Sitemap: http://zhimo.yuanzhumuban.cc/feed/rss.php?mid=12
Sitemap: http://zhimo.yuanzhumuban.cc/feed/rss.php?mid=21
Disallow: /api/
Disallow: /member/
Disallow: /skin/
Disallow: /template/
Disallow: /upgrade/
Disallow: /comment/* User-agent: googlebot-image
Allow: /*.png$
Allow: /*.jpg$
Allow: /*.jpeg$
Allow: /*.gif$
Allow: /*.bmp$
Allow: /*.bmp$
Allow: /skin/pengcheng1688/*
Disallow: /api/
Disallow: /member/
Disallow: /template/
Disallow: /upgrade/
Disallow: /comment/* User-agent: Sogou web spider
Sitemap: http://zhimo.yuanzhumuban.cc/sitemaps.xml
Disallow: /api/
Disallow: /member/
Disallow: /skin/
Disallow: /template/
Disallow: /upgrade/
Disallow: /comment/* User-agent: Sogou inst spider
Sitemap: http://zhimo.yuanzhumuban.cc/sitemaps.xml
Disallow: /api/
Disallow: /member/
Disallow: /skin/
Disallow: /template/
Disallow: /upgrade/
Disallow: /comment/* User-agent: Sogou spider2
Sitemap: http://zhimo.yuanzhumuban.cc/sitemaps.xml
Disallow: /api/
Disallow: /member/
Disallow: /skin/
Disallow: /template/
Disallow: /upgrade/
Disallow: /comment/* User-agent: Sosospider
Sitemap: http://zhimo.yuanzhumuban.cc/sitemaps.xml
Disallow: /api/
Disallow: /member/
Disallow: /skin/
Disallow: /template/
Disallow: /upgrade/
Disallow: /comment/* User-agent: yisouspider
Disallow: /api/
Disallow: /member/
Disallow: /skin/
Disallow: /template/
Disallow: /upgrade/
Disallow: /comment/* User-agent: 360Spider
Sitemap: http://zhimo.yuanzhumuban.cc/sitemaps.xml
Disallow: /api/
Disallow: /member/
Disallow: /skin/
Disallow: /template/
Disallow: /upgrade/
Disallow: /comment/* User-agent: *
Disallow: /api/
Disallow: /install/
Disallow: /member/
Disallow: /skin/
Disallow: /template/
Disallow: /upgrade/
Disallow: /comment/*
Disallow: /?*
Disallow: /*?*
Disallow: /api/*
正确robots写法，解决百度搜索不显示缩略图问题的更多相关文章
- Android发布apk后解决百度地图不显示的问题
今天在做Android apk发布时,发现发布后不能显示百度地图,结合网上的信息,及自己的实验,终于可以了.原来在Eclipse上直接run的是测试版本,而发布后是运行版本,两个版本的SHA1值不一样 ...
- 利用python爬取海量疾病名称百度搜索词条目数的爬虫实现
实验原因: 目前有一个医疗百科检索项目,该项目中对关键词进行检索后,返回的结果很多,可惜结果的排序很不好,影响用户体验.简单来说,搜索出来的所有符合疾病中,有可能是最不常见的疾病是排在第一个的,而最有 ...
- window系统谷歌浏览器百度搜索框光标不能输入并且不显示光标----自制bug以及解决
--------------------bug无处不在------------------------- 今天在搞代码的时候,保存文件无意中犯了个致命错误,文件名称写入非法字符,可能与Windows系 ...
- 解决dede搜索页面只能显示10条信息解决方案
解决dede搜索页面只能显示10条信息解决方案,感觉显示的信息太少,这时就要想办法去解决一下.看看有什么好办法来解决一下这个问题. dede搜索页模板中,默认只能显示10条记录. 打开dede搜索页模 ...
- 百度地图API显示多个标注点,解决提示信息问题以及给标注增加地图旁的文字连接提示的另一种解决办法
原文:百度地图API显示多个标注点,解决提示信息问题以及给标注增加地图旁的文字连接提示的另一种解决办法 公司的网站改版要求在一个页面显示百度地图.上面要同时显示很多标注点,标注点当然要有提示信息嘛,提 ...
- web自动化测试---自动化脚本设置百度搜索每页显示条数
前面学的都是基础知识,本篇将进入实战练习 以百度“搜索设置”为对象进行测试用例的写作: 百度的搜索设置在首页的“设置”里面,鼠标悬停之后即可显示,如下图红框位置: 测试目标是,修改每页的显示条数为50 ...
- python 全栈开发，Day50(Javascript简介,第一个JavaScript代码,数据类型,运算符,数据类型转换,流程控制,百度换肤,显示隐藏)
一.Javascript简介 Web前端有三层: HTML:从语义的角度,描述页面结构 CSS:从审美的角度,描述样式(美化页面) JavaScript:从交互的角度,描述行为(提升用户体验) Jav ...
- 前端JavaScript(1) --Javascript简介,第一个JavaScript代码,数据类型,运算符,数据类型转换,流程控制,百度换肤,显示隐藏
一.Javascript简介 Web前端有三层: HTML:从语义的角度,描述页面结构 CSS:从审美的角度,描述样式(美化页面) JavaScript:从交互的角度,描述行为(提升用户体验) Jav ...
- 百度搜索 “Java面试题” 前200页（面试必看）
前言 本文中的题目来源于网上的一篇文章<百度搜索 "Java面试题" 前200页>,但该文章里面只有题目,没有答案.因此,我整理了一些答案发布于本文.本文整理答案的原则 ...
随机推荐
- Deploy != Release（第一部分）：部署与发布的区别，以及为什么这很重要
原文地址:http://ju.outofmemory.cn/entry/351873 翻译自: Deploy != Release (Part 1): The difference between d ...
- 最新 梆梆安全java校招面经 （含整理过的面试题大全）
从6月到10月,经过4个月努力和坚持,自己有幸拿到了网易雷火.京东.去哪儿.梆梆安全等10家互联网公司的校招Offer,因为某些自身原因最终选择了梆梆安全.6.7月主要是做系统复习.项目复盘.Leet ...
- kali 扫描之burp Suite学习笔记1
1 安装 2 burs功能图解 3 工具栏详解 4 实战 (1) 网络配置 一台kali 一台msf 网络采用nat nat网络设置方法: 查看路由 配置文件 (2) 代理设置 bur代理设置 浏览器 ...
- 机试指南第二章-经典入门-Hash的应用自解
Hash的应用: Hash即散列,不像数据结构与算法中讲的各种Hash方法和冲突处理等过多的阐述,以下主要介绍Hash在机试试题解答中的作用. 例2.5 统计同成绩学生人数 Hash解法AC代码:(一 ...
- c++入门构造函数
一种方法: class Student{ public: //声明有默认参数的构造函数 Student(,,float=10); //声明成员函数 void total(); private: //声 ...
- pipeline的添加顺序和执行顺序
原文链接:https://www.cnblogs.com/ruber/p/10186571.html 本文只想讨论一下pipeline的执行顺序问题,因为这个搞不明白就不知道先添加编码还是解码,是不是 ...
- 将本机电脑作为自己的网站服务器--基于XAMPP在本地建立wordPress网站
"我不敢说自己从未担心害怕过. 实际上我希望少一点担心害怕,因为它让我分心,让我的神经系统备受煎熬".----马斯克 周日,搞了大半天,为了熟悉wordPress,先在自己的电脑上 ...
- pyhton数据类型：字典、集合、列表、元组
基本常识 元组 列表 字典 集合 初始化 tuple=(1,2,3,4) list=[1,2,3,4] dic={'a':12,'b':34} set={1,2,3,4} 元素索引 tuple[0] ...
- 长乐培训Day4
T1 矩阵 题目 [题目描述] 从前有个 n×m 的矩阵,初始时每个位置均为 0.你需要依次执行 q 个操作,每个操作会指定一行或一列,然后将该行或该列的所有元素全部赋为一个相同的值. 输出操作完成后 ...
- python函数知识七 闭包、装饰器一（入门）、装饰器二（进阶）
21.闭包 闭包:在嵌套函数内,使用非全局变量(且不使用本层变量) 闭包的作用:1.保证数据的安全性(纯洁度).2.装饰器使用 .__closure__判断是否是闭包 def func(): a = ...