selelinum+PhantomJS 爬取拉钩网职位

使用selenium+PhantomJS爬取拉钩网职位信息，保存在csv文件至本地磁盘

拉钩网的职位页面，点击下一页，职位信息加载，但是浏览器的url的不变，说明数据不是发送get请求得到的。

我们不去寻找它的API。这里使用另一种方式：使用PhantomJS模拟浏览，通过单击页面获取下一页。

这里的PhantomJS是一个没有界面的浏览器。

 from selenium import webdriver
 import time
 import random

 from selenium.webdriver.common.by import By
 from selenium.webdriver.support import expected_conditions as EC
 from selenium.webdriver.support.ui import WebDriverWait

 '''
 使用selenium+PhantomJS爬取拉钩网职位信息，保存到csv文件至本地磁盘
 需要加请求头
 '''

 '''
 phantomjs.page.customHeaders.   :自定义请求头的固定写法
 如：定义代理：phantomjs.page.customHeaders.User-Agent
 '''
 dc = {
     'phantomjs.page.customHeaders.User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
 }

 # 创建浏览器对象
 browser = webdriver.PhantomJS(executable_path=r'E:\PycharmProjects\pachong\phantomjs-2.1.1-windows\phantomjs-2.1.1-windows\bin\phantomjs.exe',desired_capabilities=dc)

 # 发送请求
 browser.get('https://www.lagou.com/jobs/list_?labelWords=&fromSearch=true&suginput=')
 time.sleep(2)

 # 保存网页截图
 browser.save_screenshot('lagou.png')

 # 实例化wait对象 设置等待超时时间为20秒
 wait = WebDriverWait(browser,20)

 # # 创建csv文件
 f = open('lagou.csv','w',encoding='utf-8')

 while True:
     # 获取数据
     job_list = browser.find_elements_by_css_selector('.item_con_list li')
     for job in job_list:
         pname = job.find_element_by_tag_name('h3').text
         ptime = job.find_element_by_class_name('format-time').text
         company = job.find_element_by_css_selector('.company_name a').text
         money = job.find_element_by_class_name('money').text
         exp = job.find_element_by_class_name('li_b_l').text.split(' ')[1] #这里的text不取div里面的标签的内容，只取div中的内容。类名为li_b_l的div有两个，经验属于第二个，还有一个工作要求的
         location = job.find_element_by_tag_name('em').text
         reqtags = job.find_elements_by_css_selector('.li_b_l span') #div的类是li_b_l,里面含有很多span标签.会把工资的那一个也包含进来，后面需要处理
         reqtags = ' '.join([reqtag.text for reqtag in reqtags][1:]) #每个条目的第一项是工资的那个，这里使用列表的切片去掉。

         # 将数据放入一个列表，便于后面csv文件格式处理，使用，隔开每一项
         data = [pname,ptime,company,money,exp,location,reqtags]
         # print(data)
         f.write(','.join(data) + '\n')

         print(data)
     if 'pager_next pager_next_disabled' not in browser.page_source:
         # 获取下一页按钮
         wait.until(EC.element_to_be_clickable((By.CLASS_NAME,'pager_next '))) #原网页中的类的最后有一个空格
         # 点击进入下一页
         browser.find_element_by_class_name('pager_next ').click()
         time.sleep(3 + random.random()*1) #时间需要延长一点，时间太短，页面没有加载完成，获取数据会报错
     else:
         break

 # 关闭文件
 f.close()

---

selelinum+PhantomJS 爬取拉钩网职位2

上面的代码中，使用selenium中的方法提取网页中的数据，有部分功能不好用，延时比较厉害。这里使用bs4提取网页中的数据，速度较快。

 from selenium import webdriver
 import time
 import re
 import random
 from selenium.webdriver.common.by import By
 from selenium.webdriver.support import expected_conditions as EC
 from selenium.webdriver.support.ui import WebDriverWait
 from bs4 import BeautifulSoup
 '''
 selenium+Chrome 抓取拉钩网职位
 使用xpath bs4解析。
 '''

 browser = webdriver.Chrome(executable_path=r'E:\PycharmProjects\pachong\chromedriver.exe')
 browser.get('https://www.lagou.com/jobs/list_?labelWords=&fromSearch=true&suginput=')
 time.sleep(2)
 f = open('lagou2.csv',mode='w',encoding='utf-8')

 #设置等待超时时间为20秒
 wait = WebDriverWait(browser,20)

 # #使用Chrome驱动的提供的方法查找网页元素，在这里使用列表的分页，有延时
 # while True:
 #     # 获取数据
 #     job_list = browser.find_elements_by_css_selector('.item_con_list li')
 #     for job in job_list:
 #         pname = job.find_element_by_tag_name('h3').text
 #         ptime = job.find_element_by_class_name('format-time').text
 #         company = job.find_element_by_css_selector('.company_name a').text
 #         money = job.find_element_by_class_name('money').text
 #         exp = job.find_element_by_class_name('li_b_l').text.split(' ')[1] #这里的text不取div里面的标签的内容，只取div中的内容。类名为li_b_l的div有两个，经验属于第二个，还有一个工作要求的
 #         location = job.find_element_by_tag_name('em').text
 #         reqtags = job.find_elements_by_css_selector('.li_b_l span') #div的类是li_b_l,里面含有很多span标签.会把工资的那一个也包含进来，后面需要处理
 #         reqtags = ' '.join([reqtag.text for reqtag in reqtags][1:]) #每个条目的第一项是工资的那个，这里使用列表的切片去掉。
 #
 #         # 将数据放入一个列表，便于后面csv文件格式处理，使用，隔开每一项
 #         data = [pname,ptime,company,money,exp,location,reqtags]
 #         # print(data)
 #         f.write(','.join(data) + '\n')
 #
 #         print(data)
 #     if 'pager_next pager_next_disabled' not in browser.page_source:
 #         # 获取下一页按钮
 #         wait.until(EC.element_to_be_clickable((By.CLASS_NAME,'pager_next '))) #原网页中的类的最后有一个空格
 #         # 点击进入下一页
 #         browser.find_element_by_class_name('pager_next ').click()
 #         time.sleep(3 + random.random()*1) #时间需要延长一点，时间太短，页面没有加载完成，获取数据会报错
 #     else:
 #         break

 while True:
     # 获取数据

     wait.until(EC.presence_of_element_located((By.CLASS_NAME,'item_con_list'))) #等待职位信息加载

     html = browser.page_source
     html = BeautifulSoup(html,'lxml')
     job_list = html.select('ul[class="item_con_list"] li')

     for job in job_list:
         pname = job.h3.text
         ptime = job.select('span[class="format-time"]')[0].text
         company = job.select('div[class="company_name"] a')[0].text
         money = job.select('span[class="money"]')[0].text
         exp = job.select('div[class="li_b_l"]')[0].text
         exp = re.split('\s',exp)[2] #使用正则切割 \s匹配所有空白，这里主要匹配 空格 和 \n。第三项是工作经验

         location = job.select('span[class="add"] em')[0].text

         tags = job.select('div[class="li_b_l"] span') #tags 匹配出匹配出两部分，一部分是薪资，一部分是工作要求，后面进行过滤后只要工作要求
         tag_list = [tag.text for tag in tags[1:]] #这里过滤掉薪资数据，只留下工作要求

         # print(tag_list)
         tags = ' '.join(tag_list)
         data = [pname,ptime,company,money,exp,location,tags]
         print(data)

         f.write(','.join(data) + '\n')

     if 'pager_next_disabled' not in browser.page_source:
         # 获取下一页
         wait.until(EC.element_to_be_clickable((By.CLASS_NAME,'pager_next')))
         browser.find_element_by_class_name('pager_next').click()
         time.sleep(1+random.random()) #延时太短可能加载未完成。抓取页面数据程序会报错，在开头检测职位加载等待，这里时间可以少一点。
     else:
         break

 f.close()