网站地址:http://ec.mcc.com.cn/b2b/web/two/indexinfoAction.do?actionType=showMoreCgxx&xxposition=cgxx 本来以为这是个老老实实的get请求,谁知道在翻页的时候发现提交请求的方式是post, 好在首页用get方式可以轻松获取到html源码,没有像之前的东方电气那么烦人. 在这里采用了简单的post提交方式,因此观察翻页即可发现,页面的改变和FormData有关 通过更改formdata中的currpage即可…

目标 之前的自动答复机器人需要从一个内部网页上获取的消息用于回复一些问题,但是没有对应的查询api,于是想到了用脚本模拟浏览器访问网站爬取内容返回给用户.详细介绍了第一次探索python爬虫的坑. 准备工作 requests模块向网站发送http请求,BeautifulSoup模块来从静态HTML文本中提取我们想要的数据,更高级的,对于动态加载页面我们需要用webdriver去模拟真实的网页访问,并解析内容. 推荐使用Anaconda 这个科学计算版本,主要是因为它自带一个包管理工具,可以解决有…

学了爬虫之后,都只是爬取一些简单的小页面,觉得没意思,所以我现在准备爬取一下豆瓣上张艺谋导演的“影”的短评,存入数据库,并进行简单的分析和数据可视化,因为用到的只是比较多,所以写一篇博客当做笔记. 第一步:想要存入数据库就必须与数据库进行链接,并建立相应的数据表,这里我是在win10下使用oracle数据库. 经过思考,我认为我们爬取一个短评的时候,只需要用到几个字段: 1.用户名 2.评论的日期 3.这个评论有多少人点赞 4.这个用户给电影打几分 5.用户的评价 接下来写一个函数,这个函数的功…

网站地址:https://srm.dongfang.com/bid_detail.screen 东方电气采购的页面看似很友好,实际上并不好爬取 在观察网页的审查元素之后发现,1处的网页响应只是单纯的一些js代码,并没有我们想要的数据信息,因此很明显该网页是经过js修饰的 另外再翻页时,发现该网页的url始终不变,所以这是一个以post方式提交的页面. 果断转向2出的url,点开之后可以看到, 此处有一新的url,并且请求方式的确四post方式,因此不能直接用网站地址获取我们所需的数据. 查看新的…

项目介绍 中国海洋石油是爬取的第一个企业,之后依次爬取了,国家电网,中国邮政,这三家公司的源码并没有多大难度, 采购信息地址: 国家电网电子商务平台 http://ecp.sgcc.com.cn/project_list.jsp?site=global&column_code=014001001&project_type=1 中国海洋石油集团有限公司 https://buy.cnooc.com.cn/cbjyweb/001/001001/moreinfo.html 中国邮政 http://…

项目来源 这个爬虫项目是 去年实验室去一汽后的第一个项目(基本交工,现在处于更新维护阶段).内容大概是,获取到全国31个省份政府的关于汽车的招标公告,再用图形界面的方式展示爬虫内容.在完成政府招标采购网之后,提出新的关于国企的招标信息,这些爬虫都是关于这些企业的爬虫代码. 爬虫编写说明 需要的安装的东西不多,语言就用python3 数据库:mysql  可以安装正常的mysql,也可以安装wampserver的php服务器(wampserver里面有轻量级的mysql服务器,很方便) 数据库安装…

人生苦短,我用 Python 前文传送门: 小白学 Python 爬虫(1):开篇 小白学 Python 爬虫(2):前置准备(一)基本类库的安装 小白学 Python 爬虫(3):前置准备(二)Linux基础入门 小白学 Python 爬虫(4):前置准备(三)Docker基础入门 小白学 Python 爬虫(5):前置准备(四)数据库基础 小白学 Python 爬虫(6):前置准备(五)爬虫框架的安装 小白学 Python 爬虫(7):HTTP 基础 小白学 Python 爬虫(8):网页基…

需求 用"老龄智能"在百度百家号中搜索文章,爬取文章内容和相关信息. 观察网页 红色框框的地方可以选择资讯来源,我这里选择的是百家号,因为百家号聚合了来自多个平台的新闻报道.首先看了一下robots.txt,基本上对爬虫没有什么限制.然后就去定位网页元素,我的思路是先把上图搜索页的每篇文章的链接爬取下来,然后放在list里循环访问获取内容,这里再提一下为什么选百家号,因为你获取不同文章的链接之后,百家号文章页面的网页结构都是一样的. 通过Chrome浏览器F12可以轻松定位到文章链接.…

为了有趣我们今天就主要去爬取以下MM的图片,并将其按名保存在本地.要爬取的网站为: 大秀台模特网 1. 分析网站 进入官网后我们发现有很多分类: 而我们要爬取的模特中的女模内容,点进入之后其网址为:http://www.daxiutai.com/mote/5.html   ,这也将是我们爬取的入口点,为了方便,我们只是爬取其推荐的部分的模特的信息和图片. 当我们点击其中的一个人物的时候就会进入他们的个人主页中,里边包括个人的详细信息以及各种图片.模特的详细都将从这里爬取. 上述的个人主页中的模特…

介绍下: 补天是国内知名的漏洞响应平台,旨在企业和白帽子共赢. 白帽子在这里提交厂商漏洞,获得库币和荣誉,厂商从这里发布众测.获取漏洞报告和修复建议. 在2017年3月份之前,补天的厂商域名URL是非常好爬取的,即使没有登陆到平台依然可以用轻松获取到批量的厂商URL地址,然后白帽子用大型漏洞扫描工具进行批量漏扫. 后来,补天平台可能为了尽可能的保护厂商的URL被滥用,采取了一些措施. 这些措施限定了: 1). 必须登陆到平台 2). 点击厂商名并进入提交漏洞页面 3). 只在提交页面显示厂商UR…