USER-AGENT 是 Http 协议中的一部分,属于头域的组成部分,User Agent也简称 UA,意为用户代理,当用户通过浏览器发送 http 请求时,USER_AGENT 起到表明自己身份的作用.用较为普通的一点来说,是一种向访问网站提供你所使用的浏览器类型.操作系统及版本.CPU 类型.浏览器渲染引擎.浏览器语言.浏览器插件等信息的标识.UA 字符串在每次浏览器 HTTP 请求时发送到服务器! 1. 在线查看自己的 UA What's My User Agent? 更简洁的方式修改C…

对于做国内站的我来说,我不希望国外蜘蛛来访问我的网站,特别是个别垃圾蜘蛛,它们访问特别频繁.这些垃圾流量多了之后,严重浪费服务器的带宽和资源.通过判断user agent,在nginx中禁用这些蜘蛛可以节省一些流量,也可以防止一些恶意的访问. 1.进入nginx的配置目录,例如cd /usr/local/nginx/conf 2.添加agent_deny.conf配置文件 vim agent_deny.conf 加入以下 #禁止Scrapy等工具的抓取 if ($http_user_agent…

1.http编程知识 http中client 和server的工作模式 client和server建立可靠的tcp链接(在HTTP1.1中这个链接是长时间的,超时断开策略) client通过socket与server通信,发送request并接受response http协议是无状态的,是指每一条的请求是相互独立的,client和server都不会记录客户的行为. client通过在HTTP请求中添加headers告诉server 他请求的内容,可以接受的格式 常用的请求方式有get和post…

就库的范围,个人认为网络爬虫必备库知识包括urllib.requests.re.BeautifulSoup.concurrent.futures,接下来将结合爬虫示例分别对urllib库的使用方法进行总结 1. urllib库全局内容 官方文档地址:https://docs.python.org/3/library/urllib.html urllib库是python的内置HTTP请求库,包含以下各个模块内容: (1)urllib.request:请求模块 (2)urllib.error:异常处…

Linux高级知识 十一.LAMP架构 1.LAMP架构介绍.MySQL.MariaDB介绍.MySQL安装 2.MariaDB和Apache安装 3.安装PHP5和PHP7 4.Apache和PHP结合.Apache默认虚拟主机 5.Apache用户认证.域名跳转.Apache访问日志 6.访问日志不记录静态文件.访问日志切割.静态元素过期时间 7.配置防盗链.访问控制Directory和FilesMatch 8.限定某个目录禁止解析php.限制user_agent.php相关配置 9.PHP…

  Scrapy 知识总结   1.安装   pip install wheel pip install https://download.lfd.uci.edu/pythonlibs/q5gtlas7/Twisted-19.2.0-cp37-cp37m-win_amd64.whl pip install scrapy ps: 因为twisted是whl包,所以需要先安装whl包对应的工具 wheel:第二步安装 Twisted方法,在https://www.lfd.uci.edu/~gohlk…

一.爬虫 1.概述 网络爬虫,搜索引擎就是爬虫的应用者. 2.爬虫分类 (1)通用爬虫,常见就是搜索引擎,无差别的收集数据,存储,提取关键字,构建索引库,给用户提供搜索接口. 爬取一般流程: 初始化一批URL,将这些url放入到等待爬取队列. 从队列取出这些url,通过dns解析ip,对应ip站点下载HTML页面,保存到本地服务器中,爬取完的url放到已爬取队列. 分析这些网页内容,找出网页里面关心的url连接,继续执行第二步,直到爬取结束. 搜索引擎如何获取一个新网站的url. 新网站主动提交…

注意:以下内容如果没有特别申明,默认使用的EF6.0版本,code first模式. 推荐MiniProfiler插件 工欲善其事,必先利其器. 我们使用EF和在很大程度提高了开发速度,不过随之带来的是很多性能低下的写法和生成不太高效的sql. 虽然我们可以使用SQL Server Profiler来监控执行的sql,不过个人觉得实属麻烦,每次需要打开.过滤.清除.关闭. 在这里强烈推荐一个插件MiniProfiler.实时监控页面请求对应执行的sql语句.执行时间.简单.方便.针对性强. 如图…

[TOC] 1.MySQL 简介 概述 MySQL是一个关系型数据库管理系统,由瑞典MySQL AB公司开发,目前属于Oracle公司. MySQL是一种关联数据库管理系统,将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性. Mysql是开源的,所以你不需要支付额外的费用. Mysql支持大型的数据库.可以处理拥有上千万条记录的大型数据库. MySQL使用标准的SQL数据语言形式. Mysql可以允许于多个系统上,并且支持多种语言.这些编程语言包括C.C+…

不学无术 又一次感觉到不学无术,被人一问Http知识尽然一点也没答上来,丢人丢到家了啊.平时也看许多的技术文章,为什么到了关键时刻就答不上来呢? 确实发现一个问题,光看是没有用的,需要实践.看别人说的头头是道自己也觉得理解了,但发现再让自己复述一遍可能完全就答不上来.这就是因为看别人的文章更像看小说,脑子里跟着作者的思路感觉好像挺懂的,其实也就是过眼云烟.所以想要学好技术 一方面是要看别人的总结,比如文章.书.源代码 然后就是要自己去总结,比如写写博客,跑跑书里面的代码,这样可以加深理解. 最后…