爬虫工程师JD归纳

核心能力归纳

负责：多平台信息的抓取，清洗和分析工作

要求：

• 熟悉常用开源爬虫框架，如 scrapy / pyspider

• 了解基于Cookie的登录原理，熟悉常用的信息抽取技术，如正则表达式、XPath
• 熟悉常见的反爬虫技术，有一定的对抗能力
• 分布式爬虫架构经验*

---

字节跳动 python爬虫工程师 22-40k

负责：

• 设计和开发分布式网络爬虫系统，进行多平台信息的抓取和分析工作，实时监控爬虫的进度和警报反馈
• 网页信息和APP数据抽取、清洗、消重等工作

要求：

• 有扎实的算法和数据结构能力
• 熟悉爬虫原理，熟悉常见的反爬虫技术
• 掌握http协议，熟悉html、dom、xpath等常见的数据抽取技术
• 有大规模数据处理、数据挖掘、信息提取等经验者优先

小米 数据爬虫工程师 20-40k

负责：

• 负责设计和开发分布式网络爬虫系统，进行多平台信息的抓取和分析工作
• 负责网页搜索的页面内容提取，搜索领域下的滤重（simhash/minhash）、聚类、反垃圾、页面分析、标签、分类器（贝叶斯/Bayes/LR/SVM）、数据挖掘等工作，提升平台的抓取效率
• 参与爬虫核心算法和策略优化，熟悉采集系统的调度策略
• 实时监控爬虫的进度和警报反馈

要求：

• 熟悉Linux系统，掌握Python等语言
• 掌握网页抓取原理及技术，了解基于Cookie的登录原理，熟悉基于正则表达式、XPath、CSS等网页信息抽取技术
• 熟悉整个爬虫的设计及实现流程，有大规模网页信息抽取开发经验，熟悉各种反爬虫技术，有分布式爬虫架构经验
• 有链接分析（pagerank、trustrank）、特征提取（页面质量、权威度、topic、线性/非线性回归、LDA）等能力优先

网易 爬虫工程师 12-24k

负责：

• 负责设计和开发通用爬虫系统，提取分析各种千形万态的平台页面内容；
• 研究各种网站、链接的形态，发现它们的特点和规律；
• 解决技术疑难问题，包括反反爬、压力控制等，提升网页抓取的效率和质量；

要求：

• 精通python、计算机网络，熟练使用多线程，熟悉Scrapy等常用爬虫框架；
• 熟悉Linux操作、正则表达式，MySQL、MongoDB等常用数据库，了解各种Web前端技术；
• 能够解决封账号、封IP、验证码识别、图像识别等问题；

扇贝 爬虫工程师 8-16k

负责：

• 开发分布式网络爬虫系统，进行多平台信息的抓取和分析工作

• 负责网页信息和 App 数据抽取、消重等工作

• 配合算法岗完成ETL 相关任务

要求：

• 掌握网页抓取原理及技术，了解基于 Cookie 的登录原理，熟悉基于正则表达式、XPath 等网页信息抽取技术

• 熟悉常用开源爬虫框架，如 scrapy / pyspider

• 扎实的编码能力与算法基础，熟悉 Linux 下的 Python / Shell 开发

---

高级岗位

千里马-北京 爬虫leader 30-40k

要求：

• 深度参与过至少一个‘分布式网络爬虫系统’的架构设计
• 扎实的数据结构与算法功底，有迭代开发经验
• 精通反爬对抗，Ajex网页抓取，浏览器模拟抓取、多平台抓取等技术
• 熟悉分布式系统，多线程
• 对主流爬虫架构有深入研究，具有成熟爬虫工具的设计及运维经验