核心能力归纳

负责:多平台信息的抓取,清洗和分析工作

要求:

  • 熟悉常用开源爬虫框架,如 scrapy / pyspider

  • 了解基于Cookie的登录原理,熟悉常用的信息抽取技术,如正则表达式、XPath
  • 熟悉常见的反爬虫技术,有一定的对抗能力
  • 分布式爬虫架构经验*

字节跳动 python爬虫工程师 22-40k

负责:

  • 设计和开发分布式网络爬虫系统,进行多平台信息的抓取和分析工作,实时监控爬虫的进度和警报反馈
  • 网页信息和APP数据抽取、清洗、消重等工作

要求:

  • 有扎实的算法和数据结构能力
  • 熟悉爬虫原理,熟悉常见的反爬虫技术
  • 掌握http协议,熟悉html、dom、xpath等常见的数据抽取技术
  • 有大规模数据处理、数据挖掘、信息提取等经验者优先

小米 数据爬虫工程师 20-40k

负责:

  • 负责设计和开发分布式网络爬虫系统,进行多平台信息的抓取和分析工作
  • 负责网页搜索的页面内容提取,搜索领域下的滤重(simhash/minhash)、聚类、反垃圾、页面分析、标签、分类器(贝叶斯/Bayes/LR/SVM)、数据挖掘等工作,提升平台的抓取效率
  • 参与爬虫核心算法和策略优化,熟悉采集系统的调度策略
  • 实时监控爬虫的进度和警报反馈

要求:

  • 熟悉Linux系统,掌握Python等语言
  • 掌握网页抓取原理及技术,了解基于Cookie的登录原理,熟悉基于正则表达式、XPath、CSS等网页信息抽取技术
  • 熟悉整个爬虫的设计及实现流程,有大规模网页信息抽取开发经验,熟悉各种反爬虫技术,有分布式爬虫架构经验
  • 有链接分析(pagerank、trustrank)、特征提取(页面质量、权威度、topic、线性/非线性回归、LDA)等能力优先

网易 爬虫工程师 12-24k

负责:

  • 负责设计和开发通用爬虫系统,提取分析各种千形万态的平台页面内容;
  • 研究各种网站、链接的形态,发现它们的特点和规律;
  • 解决技术疑难问题,包括反反爬、压力控制等,提升网页抓取的效率和质量;

要求:

  • 精通python、计算机网络,熟练使用多线程,熟悉Scrapy等常用爬虫框架;
  • 熟悉Linux操作、正则表达式,MySQL、MongoDB等常用数据库,了解各种Web前端技术;
  • 能够解决封账号、封IP、验证码识别、图像识别等问题;

扇贝 爬虫工程师 8-16k

负责:

  • 开发分布式网络爬虫系统,进行多平台信息的抓取和分析工作

  • 负责网页信息和 App 数据抽取、消重等工作

  • 配合算法岗完成ETL 相关任务

要求:

  • 掌握网页抓取原理及技术,了解基于 Cookie 的登录原理,熟悉基于正则表达式、XPath 等网页信息抽取技术

  • 熟悉常用开源爬虫框架,如 scrapy / pyspider

  • 扎实的编码能力与算法基础,熟悉 Linux 下的 Python / Shell 开发

高级岗位

千里马-北京 爬虫leader 30-40k

要求:

  • 深度参与过至少一个‘分布式网络爬虫系统’的架构设计
  • 扎实的数据结构与算法功底,有迭代开发经验
  • 精通反爬对抗,Ajex网页抓取,浏览器模拟抓取、多平台抓取等技术
  • 熟悉分布式系统,多线程
  • 对主流爬虫架构有深入研究,具有成熟爬虫工具的设计及运维经验

爬虫工程师JD归纳的更多相关文章

  1. 一个Python爬虫工程师学习养成记

    大数据的时代,网络爬虫已经成为了获取数据的一个重要手段. 但要学习好爬虫并没有那么简单.首先知识点和方向实在是太多了,它关系到了计算机网络.编程基础.前端开发.后端开发.App 开发与逆向.网络安全. ...

  2. 高级爬虫工程师(Spider)-美团网-拉勾网-最专业的互联网招聘平台

    高级爬虫工程师(Spider)-美团网-拉勾网-最专业的互联网招聘平台 高级爬虫工程师(Spider)

  3. 专业的“python爬虫工程师”需要学习哪些知识?

    学到哪种程度 暂且把目标定位初级爬虫工程师,简单列一下吧: (必要部分) 熟悉多线程编程.网络编程.HTTP协议相关 开发过完整爬虫项目(最好有全站爬虫经验,这个下面会说到) 反爬相关,cookie. ...

  4. python爬虫工程师各个阶段需要掌握的技能和知识介绍

    本文主要介绍,想做一个python爬虫工程师,或者也可以说是,如何从零开始,从初级到高级,一步一步,需要掌握哪些知识和技能. 初级爬虫工程师: Web前端的知识:HTML, CSS, JavaScri ...

  5. 从零起步 系统入门Python爬虫工程师 ✌✌

    从零起步 系统入门Python爬虫工程师 (一个人学习或许会很枯燥,但是寻找更多志同道合的朋友一起,学习将会变得更加有意义✌✌) 大数据时代,python爬虫工程师人才猛增,本课程专为爬虫工程师打造, ...

  6. Python爬虫工程师必学——App数据抓取实战 ✌✌

    Python爬虫工程师必学——App数据抓取实战 (一个人学习或许会很枯燥,但是寻找更多志同道合的朋友一起,学习将会变得更加有意义✌✌) 爬虫分为几大方向,WEB网页数据抓取.APP数据抓取.软件系统 ...

  7. 为什么每一个爬虫工程师都应该学习 Kafka

    这篇文章不会涉及到Kafka 的具体操作,而是告诉你 Kafka 是什么,以及它能在爬虫开发中扮演什么重要角色. 一个简单的需求 假设我们需要写一个微博爬虫,老板给的需求如下: 开发爬虫对你来说非常简 ...

  8. 从零起步 系统入门Python爬虫工程师✍✍✍

    从零起步 系统入门Python爬虫工程师 爬虫(又被称为网页蜘蛛,网络机器人)就是模拟客户端发送网络请求,接收请求响应,一种按照一定的规则,自动地抓取互联网信息的程序. 原则上,只要是浏览器(客户端) ...

  9. Python爬虫工程师必学APP数据抓取实战✍✍✍

    Python爬虫工程师必学APP数据抓取实战  整个课程都看完了,这个课程的分享可以往下看,下面有链接,之前做java开发也做了一些年头,也分享下自己看这个视频的感受,单论单个知识点课程本身没问题,大 ...

随机推荐

  1. 25 python 初学(socket,socketserver)

    参考blog :www.cnblogs.com/yuanchenqi/articles/5692716.html 1. sk = socket.socket() 里面有两个重要的参数,family 和 ...

  2. 利用BeEF REST API自动化控制僵尸主机

    本文首发Freebuf,属于原创奖励计划,未经许可禁止转载. http://www.freebuf.com/articles/network/137662.html 一. 前言 关于BeEF,不再多介 ...

  3. opn要求

    1.在公司 ♦可以通过阿里云的公网ip访问pg 2.不在公司 ♦需要连接VPN才可访问阿里云的公网ip的应用(假定pg),但是特别的应用不在公司也可直接访问(假定gitlab) 思路提示:vpn黑白名 ...

  4. Linux 修改本地时间 (centos为例)

    1.  tzselect [root@xxxx etc]# tzselect --- 选择时区命令 Please identify a location so that time zone rules ...

  5. 06-JavaScript的流控制语句

    06-JavaScript的流控制语句 JavaScript的流控制语句主要分为三大类: 顺序控制:因为JS是一门解释性语言,所以从上至下按顺序依次执行 分支控制:主要分为if条件语句和swith开关 ...

  6. UEFI和Legacy及UEFI+Legacy启动的区别

    uefi和legacy是两种不同的引导方式,uefi是新式的BIOS,legacy是传统BIOS.你在UEFI模式下安装的系统,只能用UEFI模式引导:同理,如果你是在Legacy模式下安装的系统,也 ...

  7. js-模块化(三大模块化规范)

    ###1. JS模块化 * 模块化的理解 * 什么是模块?    * 将一个复杂的程序依据一定的规则(规范)封装成几个块(文件), 并进行组合在一起    * 块的内部数据/实现是私有的, 只是向外部 ...

  8. XCTF体验题库 : ReverseMe-120

    ida打开看一下: sub_401000函数是能否输出“correct”的关键 点进去看一下: 可以看到将输入的字符串赋予了byte_414E40这个数组的值,看一下这个数组: 应该是base64的解 ...

  9. [Linux] Vim 撤销 回退 操作

    在vi中按u可以撤销一次操作 u   撤销上一步的操作      Ctrl+r 恢复上一步被撤销的操作 注意:        如果你输入“u”两次,你的文本恢复原样,那应该是你的Vim被配置在Vi兼容 ...

  10. 使用System.out.printf()输出日志重定向到文件后显示混乱问题

    写了一个小工具,使用System.out.printf()输出日志,以方便使用者查看,在终端显示没有问题,但重定向到文件就有问题了,会出现一些很奇怪的乱序现象. 上网查询资料,判断应该是跟重定向和Li ...