爬虫之selenium模拟点击

在利用爬虫爬取页面HTML信息得时候有的当你运用request方法爬取时爬下来得HTML信息和网站信息不相符，这也导致以后得爬去无法进行，这也是反扒机制之一，解决办法时利用代码进行模拟网页点击，来爬去相应得信息。

注：以下代码以今日头条网站为例！

具体代码如下：

import requests

from lxml import etree

import os

#模拟浏览器行为

from selenium import webdriver

from mysqldb import ConnectMysql

import pymysql

class Gevent_spider(object):

def get_html(self,url):

#根据网址为所获得的HTML文件命名

if url == 'https://www.toutiao.com/ch/news_image/':

file_name = 'toutiao.html'

else:

file_name = 'inner_pear.html'

#定义一个新的变量接收匹配后的值

html_content = ''

#使用os模块来判断文件是否存在 如果不存在直接写文件

if not os.path.exists(file_name):

 

#利用selenium方法来模拟人点击浏览器行为获取正式html

browser = webdriver.Chrome()

#get获取页面信息

browser.get(url)

#解码并进行赋值

html = browser.page_source.encode("utf-8").decode()

#设置等待时间 等待模拟器操作完成

time.sleep(5)

 

#将爬去的HTML写入文件

with open('./'+file_name,'w',encoding='utf-8') as f:

f.write(html)

#关闭模拟行为

browser.quit()

#对空变量进行赋值

html_content = html

#如果文件存在直接读取文件中的信息，

else:

with open('./'+ file_name,encoding='utf-8') as f:

contents = f.read()

#对空变量重新复制

html_content = contents

#将爬取的信息传入解析模板方法

self.xpath_html(html_content)

#定义解析方法

def xpath_html(self,html):

#利用LXML方法解析HTML

html = etree.HTML(html)

#匹配图片标签 因为图片标签隐藏在不同的层次下 所以匹配两个

img_list = html.xpath("//div[@class='image-wrap middle left']/img/@src")

img_list1 = html.xpath("//div[@class='image-wrap large']/img/@src")

#遍历其中一个图片列表 将其添加到另一个 已保证图片列表得完整性

for item in img_list1:

img_list.append(item)

#下载图片

for item in img_list:

#定义下载到得地址

path = "E:/头条/"

if os.path.exists(path):

 

filepath = requests.get('http://'+item.replace('//',''))

filepath1 = filepath.content

 

picname = item.split("/")[-1]

with open(path + "/" + picname+'.jpg',"wb") as f:

f.write(filepath1)

#匹配内页网址和标题

url_list = html.xpath("//ul[@class='imgList']/li/a/@href")

title_list= html.xpath("//p[@class='des']/text()")

 

#手动添加url 便利后添加到列表

url_list1 = []

for item in url_list:

item = 'https://www.toutiao.com' + item

url_list1.append(item)

#判断标题 去除空格

title_list1 = []

for item in title_list:

if item == " ":

pass

else:

title_list1.append(item)

# print(url_list1,"+++++++++",img_list,"+++++++++",title_list1)

# print(len(url_list1),"+++++++++",len(img_list),"+++++++++",len(title_list1))

#将匹配后得数据传到入库方法中

self.insert_db(url_list1,title_list1,img_list)

 

#定义写成入库方法

def insert_db(self,url_list1,title_list1,img_list):

#建立数据库连接

conn = pymysql.connect(host='localhost',user='root',password='mysql',database='mymac',charset='utf8')

#定义游标对象

cursor = conn.cursor()

#入库操作

for item in range(len(img_list)):

cursor.execute(" insert into `toutiao_spider` values ('%s','%s','%s') " % (url_list1[item],title_list1[item],img_list[item]))

conn.commit()

cursor.close()

conn.close()

 

#爬取内页

# def get_inner_data(self,list):

# for item in list:

# # print(item)

# browser = webdriver.Chrome()

# browser.get(item)

# html = browser.page_source.encode("utf-8").decode()

# time.sleep(5)

# browser.quit()

# html = etree.HTML(html)

# title = html.xpath("//div[@class='info-box-inner']/h2/text()")

# print(title)

#端点测试

# exit(-1)

#程序入口

if __name__ == "__main__":

#实例化对象

gevent_spider = Gevent_spider()

#调用方法并传相应参数

gevent_spider.get_html('https://www.toutiao.com/ch/news_image/')

mysqldb.py 文件具体代码：

#导包

import pymysql

#定义数据库公共类

class ConnectMysql(object):

#定义方法连接mysql

def connect_mysql(self):

#建立连接对象

conn = pymysql.connect(host='localhost',user='root',password='mysql',database='mymac',charset='utf8')

return conn