java开发-技能要求-分词频度统计

描述：

一哥们离职找工作，最近聊了聊面试待遇要求一类的事情，有些感触。

在一个公司呆的时间长了，对市场上对开发的要求已经不那么敏感了，也不知道人家要求哪些技能。一个公司的业务是有限的，呆了2年，3年，4年之后，知识面可能就狭隘了；

4、5年的程序员市场上平均待遇是多少也不清楚，问问好朋友聊聊也只知道几家的标准，对于大多数人，工资是安身立命之本，不可不察。

想到自己本身就是最数据采集与分析的，就蹦出来个想法：采集点招聘信息样本，做下简单的统计，也许会有所收获。。

正好最近也不是很忙，经过一番折腾，有了下面的结果：

图表：

 工资与招聘信息个数高级                                                      JAVA程序员岗位职责关键字饼图

相关数据:

序号         工资区间               招聘信息数量 采样总数量 百分比               序号         关键字       出现次数

    

采集使用工具：

htmlparser 数据抓取

lucene analyzer IKAnalyzer 分词

Excel 图表生成

结尾：

要数据分析，数据量一定要大，我这里只是简单的采集了800条智联的（高级java程序员）数据；正规点应该把猎聘网 智联 51job  58同城上的招聘所有的信息都爬下来，数据量先上来，这样才有些价值。

区区800条数据，其实没什么太大的参考意义，玩玩而已，但是起码能简单分析下 工资大概是多少 都要求什么技能，哪个区域招聘的比较多。