苏州市java岗位的薪资状况（2）

　　上一篇已经统计出了起薪最高的top 10:

　　接着玩，把top 10 中所有职位的详细信息爬取下来。某一职位的详情是这样：

　　我们需要把工作经验、学历、职能、关键字爬取下来。

 from urllib.request import urlopen
 from urllib.error import HTTPError
 from bs4 import BeautifulSoup
 import csv
 from itertools import chain
 import threading

 def load_datas():
     '''
     从joblist.csv中装载数据
     :return: 数据集 datas
     '''
     datas = []
     with open('high10_url.csv', encoding='utf-8') as fp:
         r = csv.reader(fp)
         for row in r:
             datas.append(row[0])
     return datas

 def get_desc(url):
     ''' 爬取职位的详细信息，包括：经验， 学历, 职位, 技能关键字 '''
     try:
         html = urlopen(url)
     except HTTPError as e:
         print('Page was not found', e.filename)
         return []

     job_desc = []  # 职位详情
     try:
         exp, edu, position, keys = '', '', '', []  # 经验， 学历, 职位, 技能关键字
         bsObj = BeautifulSoup(html.read())
         contents = bsObj.find('p', {'class': 'msg ltype'}).contents
         exp = contents[2].strip()  # 经验
         edu = contents[4].strip()  # 学历
         print(edu)
         a_list = bsObj.findAll('a', {'class': 'el tdn'})
         for i, a in enumerate(a_list):
             if i == 0:
                 position = a.get_text()  # 职位
             else:
                 keys.append(a.get_text())  # 技能关键字
         job_desc.append((exp, edu, position, keys))
     except AttributeError as e:
         print(e)
         job_desc = []
     return job_desc

 def crawl(urls):
     '''
     :param urls: 职位详情
     '''
     print('开始爬取数据...')
     job_desc = [get_desc(url) for url in urls]
     print('爬取结束')
     return job_desc

 def save_data(all_jobs, f_name):
     '''
     将信息保存到目标文件
     :param all_jobs: 二维列表，每个元素是一页的职位信息
     '''
     print('正在保存数据...')
     with open(f_name, 'w', encoding='utf-8', newline='') as fp:
         w = csv.writer(fp)
         # 将二维列表转换成一维
         t = list(chain(*all_jobs))
         w.writerows(t)
         print('保存结束，共{}条数据'.format(len(t)))

 urls = load_datas()
 job_desc = crawl(urls)
 print(job_desc)
 save_data(job_desc, 'job_desc.csv')

　　high10_url.csv中已经预先存储了top 10的所有64个url。job_desc.csv中的结果如下：

　　学历列出现了问题，第5行显示的是“招1人”，实际上这个职位没有学历要求，把所有“招x人”的记录都改成“无要求”。

　　接下来可以按照经验、学历、职能分别统计：

import csv
import pandas as pd
import numpy as np

def load_datas():
    '''
    从joblist.csv中装载数据
    :return: 数据集 datas
    '''
    datas = []
    with open('job_desc.csv', encoding='utf-8') as fp:
        r = csv.reader(fp)
        for row in r:
            datas.append(row)
    return datas

def analysis(datas):
    ''' 数据分析 '''
    df = pd.DataFrame({'exp': datas[:, 0],
                       'edu': datas[:, 1],
                       'position': datas[:, 2],
                       'keys': datas[:, 3]})
    count(df, 'exp', '经验') # 按经验统计
    count(df, 'edu', '学历') # 按学历统计
    count(df, 'position', '职位') # 按职位统计

def count(df, idx, name):
    ''' 分组统计 '''
    print(('按' + name + '分组').center(60, '-'))
    c = df[idx].value_counts(sort=True)
    print(c)

if __name__ == '__main__':
    # 读取并清洗数据
    datas = np.array(load_datas())
    analysis(datas)

　　

　　5~7年经验果然是最容易找到高薪职位的，而且用人单位大多要求本科学历。

　　职能的统计比较杂乱，高级软件工程师和架构师的岗位较多，项目经理这类职位的薪水一般低于工程师，这也和预计的相同：

　　技能关键字看起来并不友好：

　　第一条记录很好地反应了技能要求，第二条就没什么用了，这是由于关键字信息是HR自行添加的，大多数HR都不太了解技术，因此也就出现了像第二条那样对本次分析没什么作用的关键字。

　　看来得求助于一些分词技术，从职位信息中抽取一些关键字。

　　下篇继续，看看哪些技能是抢手的。

---

　　作者：我是8位的

　　出处：http://www.cnblogs.com/bigmonkey

　　本文以学习、研究和分享为主，如需转载，请联系本人，标明作者和出处，非商业用途！

　　扫描二维码关注公作者众号“我是8位的”