网站上线http://zhimo.yuanzhumuban.cc/有一年左右时间了,百度搜索显示略缩图少之又少,通过自己这几天的观察发现。

结合百度站长平台的 robots 工具和抓取诊断工具检查后,发现果然是 robots 误禁封造成的! 百度索引变动一直以慢著称,所以 robots 写错了也不会在十天半个月突显出来,真是坑的一 B! 通过抓取诊断工具,发现普通图片可以抓取,带参数的图片就抓取失败。经过多次测试,发现问题出现在 Allow: /*.png$ 这种写法,是以 png 结尾,尾部不再包含其他任何字符,因此,上文提到的 PHP+Nginx 缩略图形式 x.png?w=480

附上个人配置的robots,仅供参考:

# Robots
User-agent: Baiduspider
Allow: /*.png$
Allow: /*.jpg$
Allow: /*.jpeg$
Allow: /*.gif$
Allow: /*.bmp$
Allow: /*.bmp$
Allow: /skin/pengcheng1688/*
Disallow: /api/
Disallow: /install/
Disallow: /member/
Disallow: /skin/
Disallow: /template/
Disallow: /upgrade/
Disallow: /comment/*
Sitemap: http://zhimo.yuanzhumuban.cc/sitemaps.xml
Sitemap: http://zhimo.yuanzhumuban.cc/hotkey/
Sitemap: http://zhimo.yuanzhumuban.cc/feed/rss.php?mid=5
Sitemap: http://zhimo.yuanzhumuban.cc/feed/rss.php?mid=12
Sitemap: http://zhimo.yuanzhumuban.cc/feed/rss.php?mid=21 User-agent: Baiduspider-image
Allow: /*.png$
Allow: /*.jpg$
Allow: /*.jpeg$
Allow: /*.gif$
Allow: /*.bmp$
Allow: /*.bmp$
Allow: /skin/pengcheng1688/*
Disallow: /api/* User-agent: Googlebot
Sitemap: http://zhimo.yuanzhumuban.cc/sitemaps.xml
Sitemap: http://zhimo.yuanzhumuban.cc/hotkey/
Sitemap: http://zhimo.yuanzhumuban.cc/feed/rss.php?mid=5
Sitemap: http://zhimo.yuanzhumuban.cc/feed/rss.php?mid=12
Sitemap: http://zhimo.yuanzhumuban.cc/feed/rss.php?mid=21
Disallow: /api/
Disallow: /member/
Disallow: /skin/
Disallow: /template/
Disallow: /upgrade/
Disallow: /comment/* User-agent: googlebot-image
Allow: /*.png$
Allow: /*.jpg$
Allow: /*.jpeg$
Allow: /*.gif$
Allow: /*.bmp$
Allow: /*.bmp$
Allow: /skin/pengcheng1688/*
Disallow: /api/
Disallow: /member/
Disallow: /template/
Disallow: /upgrade/
Disallow: /comment/* User-agent: Sogou web spider
Sitemap: http://zhimo.yuanzhumuban.cc/sitemaps.xml
Disallow: /api/
Disallow: /member/
Disallow: /skin/
Disallow: /template/
Disallow: /upgrade/
Disallow: /comment/* User-agent: Sogou inst spider
Sitemap: http://zhimo.yuanzhumuban.cc/sitemaps.xml
Disallow: /api/
Disallow: /member/
Disallow: /skin/
Disallow: /template/
Disallow: /upgrade/
Disallow: /comment/* User-agent: Sogou spider2
Sitemap: http://zhimo.yuanzhumuban.cc/sitemaps.xml
Disallow: /api/
Disallow: /member/
Disallow: /skin/
Disallow: /template/
Disallow: /upgrade/
Disallow: /comment/* User-agent: Sosospider
Sitemap: http://zhimo.yuanzhumuban.cc/sitemaps.xml
Disallow: /api/
Disallow: /member/
Disallow: /skin/
Disallow: /template/
Disallow: /upgrade/
Disallow: /comment/* User-agent: yisouspider
Disallow: /api/
Disallow: /member/
Disallow: /skin/
Disallow: /template/
Disallow: /upgrade/
Disallow: /comment/* User-agent: 360Spider
Sitemap: http://zhimo.yuanzhumuban.cc/sitemaps.xml
Disallow: /api/
Disallow: /member/
Disallow: /skin/
Disallow: /template/
Disallow: /upgrade/
Disallow: /comment/* User-agent: *
Disallow: /api/
Disallow: /install/
Disallow: /member/
Disallow: /skin/
Disallow: /template/
Disallow: /upgrade/
Disallow: /comment/*
Disallow: /?*
Disallow: /*?*
Disallow: /api/*

  

正确robots写法,解决百度搜索不显示缩略图问题的更多相关文章

  1. Android发布apk后解决百度地图不显示的问题

    今天在做Android apk发布时,发现发布后不能显示百度地图,结合网上的信息,及自己的实验,终于可以了.原来在Eclipse上直接run的是测试版本,而发布后是运行版本,两个版本的SHA1值不一样 ...

  2. 利用python爬取海量疾病名称百度搜索词条目数的爬虫实现

    实验原因: 目前有一个医疗百科检索项目,该项目中对关键词进行检索后,返回的结果很多,可惜结果的排序很不好,影响用户体验.简单来说,搜索出来的所有符合疾病中,有可能是最不常见的疾病是排在第一个的,而最有 ...

  3. window系统谷歌浏览器百度搜索框光标不能输入并且不显示光标----自制bug以及解决

    --------------------bug无处不在------------------------- 今天在搞代码的时候,保存文件无意中犯了个致命错误,文件名称写入非法字符,可能与Windows系 ...

  4. 解决dede搜索页面只能显示10条信息解决方案

    解决dede搜索页面只能显示10条信息解决方案,感觉显示的信息太少,这时就要想办法去解决一下.看看有什么好办法来解决一下这个问题. dede搜索页模板中,默认只能显示10条记录. 打开dede搜索页模 ...

  5. 百度地图API显示多个标注点,解决提示信息问题以及给标注增加地图旁的文字连接提示的另一种解决办法

    原文:百度地图API显示多个标注点,解决提示信息问题以及给标注增加地图旁的文字连接提示的另一种解决办法 公司的网站改版要求在一个页面显示百度地图.上面要同时显示很多标注点,标注点当然要有提示信息嘛,提 ...

  6. web自动化测试---自动化脚本设置百度搜索每页显示条数

    前面学的都是基础知识,本篇将进入实战练习 以百度“搜索设置”为对象进行测试用例的写作: 百度的搜索设置在首页的“设置”里面,鼠标悬停之后即可显示,如下图红框位置: 测试目标是,修改每页的显示条数为50 ...

  7. python 全栈开发,Day50(Javascript简介,第一个JavaScript代码,数据类型,运算符,数据类型转换,流程控制,百度换肤,显示隐藏)

    一.Javascript简介 Web前端有三层: HTML:从语义的角度,描述页面结构 CSS:从审美的角度,描述样式(美化页面) JavaScript:从交互的角度,描述行为(提升用户体验) Jav ...

  8. 前端JavaScript(1) --Javascript简介,第一个JavaScript代码,数据类型,运算符,数据类型转换,流程控制,百度换肤,显示隐藏

    一.Javascript简介 Web前端有三层: HTML:从语义的角度,描述页面结构 CSS:从审美的角度,描述样式(美化页面) JavaScript:从交互的角度,描述行为(提升用户体验) Jav ...

  9. 百度搜索 “Java面试题” 前200页(面试必看)

    前言 本文中的题目来源于网上的一篇文章<百度搜索 "Java面试题" 前200页>,但该文章里面只有题目,没有答案.因此,我整理了一些答案发布于本文.本文整理答案的原则 ...

随机推荐

  1. Android MVP框架实现登录案例

    一.Model package com.czhappy.mvpdemo.model; /** * author: chenzheng * created on: 2019/5/16 11:06 * d ...

  2. python递归函数(10)

    一个函数在函数体内部调用自己,这样的函数称为递归函数,递归的次数在python是有限制的,默认递归次数是997次,超过997次会报错:RecursionError. 一.递归函数案例 案例一:计算数字 ...

  3. 小白都能看懂的vue中各种通信传值方式,附带详细代码

    1.路由通信传值 路由通信是通过路由跳转用query把参数带过去,也是vue常用的通信手段. 例子: 创建并在路由注册一个组件Head <template> <div id=&quo ...

  4. javascript——常用事件总结

      Event对象:Event 对象代表事件的状态,比如事件在其中发生的元素.键盘按键的状态.鼠标的位置.鼠标按钮的状态. 事件标签属性 当以下情况发生时,出现此事件 onabort 图像加载被中断 ...

  5. Java8一Lambda与函数式接口

    关于Lambda表示在工作学习中会经常用到,但并没有全面的去了解.在这里做一个较为详细的记录供以后学习查阅.主要参考Java 8 Lambda 表达式 引言 Java8之前,我们在使用Runnale创 ...

  6. node.js开发 1-概述

    https://www.cnblogs.com/gaoya666/p/9071288.html Nodejs英文网:https://nodejs.org/en/ 中文网:http://nodejs.c ...

  7. Wireless support

    Wireless support 参考: https://www.rhyous.com/2010/12/03/freebsd-wireless-configuring-a-wireless-inter ...

  8. 第二章:jQuery初探

    一.引入jQuery XXXX.js文件 <script>标签 1.版本选择 当前jQuery有两个分支 1.x 支持ie6.7.8 jquery-1.11.2.js:未经过压缩,适合同学 ...

  9. sql 注入风险

    目录 sql 注入风险 什么是sql注入呢? 查看sql注入风险 如何避免 sql 注入风险 pymysql 简单规避注入风险示列 sql 注入风险 什么是sql注入呢? 参考百度 查看sql注入风险 ...

  10. Win10同时安装office2016和visio2016说明

    前言 无论是先安装office2016还是visio2016,均不能成功. 而office2016和visio2016的镜像文件是一样的,只是名称不一样,只需下载其一即可. 具体参考链接 https: ...