python爬虫之路——无头浏览器初识及简单例子

from selenium import webdriver url='https://www.jianshu.com/p/a64529b4ccf3' def get_info(url): include_title=[] driver=webdriver.PhantomJS() driver.get(url) driver.implicitly_wait(20) author=driver.find_element_by_xpath('/html/body/div[1]/div[1]/div[…

[Python爬虫]使用Selenium操作浏览器订购火车票

这个专题主要说的是Python在爬虫方面的应用,包括爬取和处理部分 [Python爬虫]使用Python爬取动态网页-腾讯动漫(Selenium) [Python爬虫]使用Python爬取静态网页-斗鱼直播 [Python爬虫]使用Python爬取动态网页-豆瓣电影(JSON) [Python爬虫]使用Selenium操作浏览器订购火车票上节我们说了如何使用selenium打开网页做些简单操作这节内容为操作浏览器自动订购12306火车票开发环境操作系统:windows 10 Python…

Python爬虫之路——简单网页抓图升级版（添加多线程支持）

转载自我的博客:http://www.mylonly.com/archives/1418.html 经过两个晚上的奋斗.将上一篇文章介绍的爬虫略微改进了下(Python爬虫之路--简单网页抓图),主要是将获取图片链接任务和下载图片任务用线程分开来处理了,并且这次的爬虫不只能够爬第一页的图片链接的,整个http://desk.zol.com.cn/meinv/以下的图片都会被爬到,并且提供了多种分辨率图片的文件下载,详细设置方法代码凝视里面有介绍. 这次的代码仍然有点不足,Ctrl-C无法终止程序…

python爬虫之路——初识基本页面构造原理

通过chrome浏览器的使用简单介绍网页构成 360浏览器使用右键审查元素,Chrome浏览器使用右键检查,都可查看网页代码. 网页代码有两部分:HTML文件和CSS样式.其中有<script></script>标签就是javaScript代码. 通俗比喻:把网页比喻成一个房子HTML文件是框架,CSS样式是装修,javaScript代码是房子的电器. 审查元素和查看网页源码的区别:是源代码和DOM的区别,审查元素实际上是查看DOM,DOM渲染过了,查看网页源码看到的才是未解析的源…

Python 爬虫（1）基础知识和简单爬虫

Python上手很容易,免费开源,跨平台不受限制,面向对象,框架和库很丰富. Python :Monty Python's Flying Circus (Python的名字来源,和蟒蛇其实无关). 通过homebrew和pyenv可以维护多个Python版本. 相关知识 HTTP = HyperText Transfer Protocol URI = Uniform Resource Identifier 强调资源 URL = Uniform Resource Locator 强调资源的位置可…

python爬虫起步...开发环境搭建，最简单的方式

研究一门编程语言,一般第一步就是配置安装部署相关的编程环境.我认为啊,在学习的初期,大家不是十分了解相关的环境,或者是jar包,python模块等的相关内容,就不需要花费大量的时间去研究如何去安装它.在你积累到一定程度之后,回头再来看看这些模块和包的安装,应是十分容易的,即使某一个环节出了错误,遇到一些问题,这些问题也能快速解决掉,所以我推荐使用anaconda来研究python. 最近在研究python爬虫的相关内容.一点一点来吧,由浅入深,稍微后面一点会搞搞分布式爬虫框架scrapy + M…

Python爬虫学习三------requests+BeautifulSoup爬取简单网页

第一次第一次用MarkDown来写博客,先试试效果吧! 昨天2018俄罗斯世界杯拉开了大幕,作为一个伪球迷,当然也得为世界杯做出一点贡献啦. 于是今天就编写了一个爬虫程序将腾讯新闻下世界杯专题的相关新闻和链接提取出来,同时也再复习一下 Python爬虫类库的使用. 爬取前相关库文件的安装 1.python安装,如果还没有安装可以去Python官网去下载安装相应的版本,这里我使用的是Python3.6.1. 2.requests库安装,使用cmd命令打开命令行,接着pip install requ…

python爬虫之路——初识爬虫三大库，requests,lxml,beautiful.

三大库:requests,lxml,beautifulSoup. Request库作用:请求网站获取网页数据. get()的基本使用方法 #导入库 import requests #向网站发送请求,获取数据. res= requests.get(‘http://bj.xiaozhu.com/’) #打印返回值,<response [200]>成功,<response [404]>,<response [400]>失败 print(res) #打印返回文本 print(r…

python爬虫之路——正则表达式初识

正则表达式:是一个特殊的符号系列,检查字符串是否与指定模式匹配. python中的re模块拥有全部的正则表达式功能. 判断字符: 类型: 数目:有无: 个数:单值区间离散判断一个字符: 表示一个字符:①确定 (1)字符 a,b,1,4 (2)转义字符 \. ②完全不确定 (.) 匹配任意单个字符,不包括换行 ③相对确定 [ abc] 表示a或b或c 判断多个字符类型:数字,单词,…

python爬虫之路——初识爬虫原理

爬虫主要做两件事 ①模拟计算机对服务器发起Request请求 ②接收服务器端的Response内容并解析,提取所需的信息互联网页面错综复杂,一次请求不能获取全部信息.就需要设计爬虫的流程. 本书主要介绍两种流畅①多页面爬虫流程②跨页面爬虫流程多页面爬虫流程: (1)手动翻页并观察各页面的URL构成特点,构造出所有页面的URL存入列表 (2)根据URL列表依次循环取出URL (3)定义爬虫函数 (4)循环调用爬虫函数,存储数据. (5)循环结束,结束爬虫程序. 跨页面的爬虫程序: (1)定义爬…

python爬虫之路——初识函数与控制语句

介绍python函数的定义与使用方法,介绍Python的常用控制语句:判断和循环函数: 格式 def 函数名(参数1,参数2): return ‘结果’ 判断语句:就是多选一二选一: if condition: do else: do 多选一: if condition: do elif condition: do else: do 实例:密码登录 def count_login(): password= input('password:') if( password== '12345…

python爬虫之路——初识数据库存储

非关系型数据库:MongoDB.关系型数据库:MySQL 关系型和非关系型的区别: 安装: 使用: 应用场景: mongoDB是一种非关系型数据库,分为四大类:键值存储数据库,列存储数据库,文档型数据库,图形数据库. 重点学习mysql import pymysql conn= pymysql.connect(host='localhost',user='root',passwd='root',db='mydb',port=3306,charset='utf8') cursor=conn.cur…

python爬虫之路——初识lxml库和xpath语法

lxml库:是xml解析库,也支持html文档解析功能,实用功能:自动修正补全html代码. 使用流程:①导入lxml中的etree库,②利用etree.HTML(文件名)或etree.parse(本地打开,路径)进行初始化,③etree库把HTML文档解析为Element对象. from lxml import etree text=""" <div > <div class="sidebarContent">sdssdds &l…

python爬虫:使用Selenium模拟浏览器行为

前几天有位微信读者问我一个爬虫的问题,就是在爬去百度贴吧首页的热门动态下面的图片的时候,爬取的图片总是爬取不完整,比首页看到的少.原因他也大概分析了下,就是后面的图片是动态加载的.他的问题就是这部分动态加载的图片该怎么爬取到. 分析他的代码比较简单,主要有以下的步骤:使用BeautifulSoup库,打开百度贴吧的首页地址,再解析得到id为new_list标签底下的img标签,最后将img标签的图片保存下来. headers = { 'User-Agent':'Mozilla/5.0 (Win…

python爬虫---从零开始（一）初识爬虫

我们开始来谈谈python的爬虫. 1,什么是爬虫: 网络爬虫是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.另外一些不常使用的名字还有蚂蚁.自动索引.模拟程序或者蠕虫.互联网犹如一个大蜘蛛网,我们的爬虫就犹如一个蜘蛛,当在互联网遇到所需要的资源,我们就会爬取下来,即为爬虫是一个请求网站并且提取数据的自动化程序. 2,下面我们来提到两个名词: 1)请求,request即为我们的请求,当我们在浏览器内输入网址,敲击回车时,这时浏览器就会发送消息给该网址所在的服务器,这个过程叫做HTTP…

python爬虫01在Chrome浏览器抓包

尽量不要用国产浏览器,很多是有后门的 chrome是首选百度按下F12 element标签下对应的HTML代码点击Network,可以看到很多请求 HTTP请求的方式有好几种,GET,POST,PUT,DELETE,HEAD,OPTIONS,TRACE 不过最常见的就是GET和POST请求 get: https://www.baidu.com/s?wd=内容 post: 信息提交注册登陆 post的参数不会直接放在URL上,会以Form表单的形式将数据提交给服务器可以发现, GET请…

Python学习之路：NumPy初识

import numpy as np; //一维NumPy数组 myArray = np.array([1,2,3,4]); print(myArray); [1 2 3 4] //打印一维数组的形状 print(myArray.shape); (4,) //像普通的Python数组一样,NumPy数组的起始索引编号为0. print(myArray[0]); print(myArray[1]); 1 2 //像数组一样直接修改NumPy数组 myArray[0] = 0; print(myAr…

python爬虫之路——基本文件操作

介绍python如何打开文件和读取数据新建TXT文档,为追加模式: f=open('c;/wendang/demo.txt','a+') content="abcdefg123456789" f.write(content) f.close()…

python爬虫之路——对字符串的处理

对字符串的处理分类:分段,连接,剔除,提取,综合连接:+,* +(加法)的使用 a='i' b=' love' c=' you' print(a+b+c) #return i love you *(乘法)的使用 a='word' print(a*3) #result wodwordword 分段:split() split():将字符串按标志(默认为空格)分成列表格式 a='www.baidu.com' print(a.split('.')) #return ['www','baidu','c…

python爬虫之路——变量和变量类型

变量类型: ①单值:int ②多值:数组 ③复杂:类变量类型:就是变量的数据结构,表示这个变量所代表的内容的格式是怎样的. (多值)四种基本数据结构: 列表,字典,元组,集合列表: ①元素可变, 意义:可对列表进行,增,删,改,爬虫使用较少 ②位置有序 ③可存储所有对象使用: 列表中位置有序,用法与字符串的切片和索引类似 #索引 list=['aa','bb','cc','dd'] print(list[0]) #return aa (string) #切片 print(list[1…

Python爬虫之路——简单的网页抓图

转载自我自己的博客:http://www.mylonly.com/archives/1401.html 用Python的urllib2库和HTMLParser库写了一个简单的抓图脚本.主要抓的是http://desk.zol.com.cn/meinv/这个链接下的图片,通过得到图集的起始URL地址.得到第一张图片,然后不断的去获取其下一个图片的URL.继而得到全部首页的图集的图片. 整个源代码例如以下.比較简单.写这个仅仅是简单的练手而已 #coding: utf-8 #############…

Python爬虫：常用的浏览器请求头User-Agent（转）

原文地址:https://blog.csdn.net/mouday/article/details/80182397 user_agent = [ "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50", "Mozilla/5.0 (Windows; U; Windows NT 6.1;…

python爬虫之路——Python的re模块及其方法

介绍常用的三种方法:search(),sub(),findall() search():匹配并提取第一个符合规律的内容,然后返回一个正则表达式的对象 #提取字符串中的第一个数字 import re a='a1b2d3f4' infos=re.search('\d+',a) print(infos) #返回一个正则表达式的对象 print(infos.group()) #return 1 sub():替换 import re phone='123-456-789' new_phone=re.sub…

python爬虫之路——构造URL集

例某网站的URL集是这样的 https://www.555zw.com/book/40/40934/10334793.html https://www.555zw.com/book/40/40934/10334794.html https://www.555zw.com/book/40/40934/10334795.html https://www.555zw.com/book/40/40934/10334796.html https://www.555zw.com/book/40/40934/…