32、出任爬虫公司CEO（爬取职友网招聘信息）

职友集，搜索到全国上百家招聘网站的最新职位。

 

https://www.jobui.com/rank/company/

 

打开网址后，你会发现：这是职友集网站的地区企业排行榜，里面含有

    本月人气企业榜    前10家公司的招聘信息（公司名称、职位、工作地点和招聘要求）

    最佳口碑雇主    前10家公司的招聘信息（公司名称、职位、工作地点和招聘要求）

    最多粉丝企业榜    前10家公司的招聘信息（公司名称、职位、工作地点和招聘要求）

    最多评论企业榜    前10家公司的招聘信息（公司名称、职位、工作地点和招聘要求）

 

1、创建 职友网 项目 zhiyou

 

 D:\USERDATA\python>scrapy startproject zhiyou
 New Scrapy project 'zhiyou', using template directory 'c:\users\www1707\appdata\local\programs\python\python37\lib\site-packages\scrapy\templates\project', created in:
     D:\USERDATA\python\zhiyou

 You can start your first spider with:
     cd zhiyou
     scrapy genspider example example.com

 D:\USERDATA\python>cd zhiyou

 D:\USERDATA\python\zhiyou>

 

2、创建爬虫文件  D:\USERDATA\python\zhiyou\zhiyou\spiders\zhiyou.py

 

 import scrapy
 import bs4
 import re
 import requests
 import math
 from ..items import ZhiyouItem

 class ZhiyouItemSpider(scrapy.Spider):
     name = 'zhiyou'
     allowed_domains   = ['www.jobui.com']
     start_urls = ['https://www.jobui.com/rank/company/']

     def parse(self,response):
         bs = bs4.BeautifulSoup(response.text,'html.parser')
         datas = bs.find_all('a',href=re.compile('^/company/'))
         for data in datas:
             company_id = data['href']
             company_url = 'https://www.jobui.com{}jobs/'.format(company_id)
             yield scrapy.Request(company_url,callback=self.parse_company)

     def parse_company(self,response):
         bs = bs4.BeautifulSoup(response.text,'html.parser')
         try:
             jobs = int(bs.find('p',class_='m-desc').text.split(' ')[1])
             job_page = math.ceil(jobs / 15) + 1
             company_url = str(response).split(' ')[1].replace('>','')
 #            for i in range(1,job_page):
             for i in range(1,2):
                 job_url = '{}p{}'.format(company_url,i)
                 yield scrapy.Request(job_url,callback=self.parse_job)
         except:
             pass

     def parse_job(self,response):
         bs = bs4.BeautifulSoup(response.text,'html.parser')
         datas = bs.find_all('div',class_='job-simple-content')
         company_name = bs.find('h1',id='companyH1')['data-companyname']
         for data in datas:
             item = ZhiyouItem()
             item['company'] = company_name
             item['job']     = data.find('h3').text
             item['city']    = data.find('span').text
             item['desc']    = data.find_all('span')[1].text
             yield item

3、编辑settings.py

 

 BOT_NAME = 'zhiyou'

 SPIDER_MODULES = ['zhiyou.spiders']
 NEWSPIDER_MODULE = 'zhiyou.spiders'

 USER_AGENT = 'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'

 ROBOTSTXT_OBEY = False

 FEED_URI = './s.csv'
 FEED_FORMAT='CSV'
 FEED_EXPORT_ENCODING='utf-8-sig'

 DOWNLOAD_DELAY = 0.5

 ITEM_PIPELINES = {
     'zhiyou.pipelines.ZhiyouPipeline': 300,
 }

4、编辑 items.py

 

 import scrapy

 class ZhiyouItem(scrapy.Item):
     company = scrapy.Field()
     job = scrapy.Field()
     city = scrapy.Field()
     desc = scrapy.Field()

5、编辑pipelines.py 

 

 import openpyxl

 class ZhiyouPipeline(object):
 #定义一个JobuiPipeline类，负责处理item
     def __init__(self):
     #初始化函数 当类实例化时这个方法会自启动
         self.wb =openpyxl.Workbook()
         #创建工作薄
         self.ws = self.wb.active
         #定位活动表
         self.ws.append(['公司', '职位', '地址', '招聘信息'])
         #用append函数往表格添加表头

     def process_item(self, item, spider):
     #process_item是默认的处理item的方法，就像parse是默认处理response的方法
         line = [item['company'], item['job'], item['city'], item['desc']]
         #把公司名称、职位名称、工作地点和招聘要求都写成列表的形式，赋值给line
         self.ws.append(line)
         #用append函数把公司名称、职位名称、工作地点和招聘要求的数据都添加进表格
         return item
         #将item丢回给引擎，如果后面还有这个item需要经过的itempipeline，引擎会自己调度

     def close_spider(self, spider):
     #close_spider是当爬虫结束运行时，这个方法就会执行
         self.wb.save('./s.xlsx')
         #保存文件
         self.wb.close()
         #关闭文件

6、在D:\USERDATA\python\dangdang 下执行命令 scrapy crawl zhiyou

 

 

---

Scrapy 核心代码，callback

 

 #导入模块：
 import scrapy
 import bs4
 from ..items import JobuiItem

 class JobuiSpider(scrapy.Spider):
     name = 'jobs'
     allowed_domains = ['www.jobui.com']
     start_urls = ['https://www.jobui.com/rank/company/']

 #提取公司id标识和构造公司招聘信息的网址：
     def parse(self, response):
     #parse是默认处理response的方法
         bs = bs4.BeautifulSoup(response.text, 'html.parser')
         ul_list = bs.find_all('ul',class_="textList flsty cfix")
         for ul in ul_list:
             a_list = ul.find_all('a')
             for a in a_list:
                 company_id = a['href']
                 url = 'https://www.jobui.com{id}jobs'
                 real_url = url.format(id=company_id)
                 yield scrapy.Request(real_url, callback=self.parse_job)
 #用yield语句把构造好的request对象传递给引擎。用scrapy.Request构造request对象。callback参数设置调用parsejob方法。

     def parse_job(self, response):
     #定义新的处理response的方法parse_job（方法的名字可以自己起）
         bs = bs4.BeautifulSoup(response.text, 'html.parser')
         #用BeautifulSoup解析response(公司招聘信息的网页源代码)
         company = bs.find(id="companyH1").text
         #用fin方法提取出公司名称
         datas = bs.find_all('li',class_="company-job-list")
         #用find_all提取<li class_="company-job-list">标签，里面含有招聘信息的数据
         for data in datas:
         #遍历datas
             item = JobuiItem()
             #实例化JobuiItem这个类
             item['company'] = company
             #把公司名称放回JobuiItem类的company属性里
             item['position']=data.find('h3').find('a').text
             #提取出职位名称，并把这个数据放回JobuiItem类的position属性里
             item['address'] = data.find('span',class_="col80").text
             #提取出工作地点，并把这个数据放回JobuiItem类的address属性里
             item['detail'] = data.find('span',class_="col150").text
             #提取出招聘要求，并把这个数据放回JobuiItem类的detail属性里
             yield item
             #用yield语句把item传递给引擎