前言

即使我们都是程序员，但我们也并非都会修电脑，都会做酷炫的ppt，都会优化系统卡顿。其实程序员也是分行业、分专业的，就像医生也分内外科、呼吸科、神经科神的。

作为非专业的python选手，或者非专业的爬虫选手，即使我们有一些编程基础，有时想通过代码从网上获取一些信息，也不能徒手就能做，需要借鉴一些成熟的方案、代码。

这就是为什么GitHub现在这么流行的原因。作为小白的一番，今天找到一个非常不错的爬虫收集项目，推荐给大家。

GitHub搜索技巧

网上也有一些分享的再github上搜索项目的技巧，其实，很多都是从官方文档来的。所以，我们想真的精通Github搜索，那么就去给官网链接上查吧。

  • GitHub帮助中心：『https://help.github.com/en/github/searching-for-information-on-github/searching-on-github』

如果觉得英文看着吃力，这里一番也找到一个部分翻译的文章：

  • github 项目搜索技巧-让你更高效精准地搜索项目：『https://www.cnblogs.com/suwanbin/p/12113751.html』

比如，我们要搜爬虫相关的，2020年1月1日以后还有更新的，stars数超过100的，可以用这样的命令：

in:description spider pushed:>2020-01-01 stars:>100

再选择一下排序，会得到这样的结果：

awesome-spider

  • awesome-spider：『https://github.com/facert/awesome-spider』

这其实是一个整理收集爬虫项目的项目，对于一番开篇说的非专业爬虫小户来讲，可以发现很多实用的项目。

不得不说，资源整合的能力有时比创造资源更重要。

我们来看下它收集了哪些项目，有没有你感兴趣的？

A

B

C

D

E

G

H

I

J

K

L

M

N

O

P

Q

R

S

T

V

W

X

Y

Z

#

其他

一番雾语：资源整合的能力有时比创造资源更重要。

免费知识星球：一番码客-积累交流
微信公众号：一番码客
微信：Efon-fighting
网站：http://www.efonmark.com

找python爬虫小项目？github给你准备好了！的更多相关文章

  1. python爬虫小项目实战

  2. 一个python爬虫小程序

    起因 深夜忽然想下载一点电子书来扩充一下kindle,就想起来python学得太浅,什么“装饰器”啊.“多线程”啊都没有学到. 想到廖雪峰大神的python教程很经典.很著名.就想找找有木有pdf版的 ...

  3. python爬虫scrapy项目详解（关注、持续更新）

    python爬虫scrapy项目(一) 爬取目标:腾讯招聘网站(起始url:https://hr.tencent.com/position.php?keywords=&tid=0&st ...

  4. 记一次python + selenium小项目出现的问题与解决办法

    记一次python + selenium小项目出现的问题与解决办法 如何接入代理 def crawl_xdaili(self):#代理 可不用 需要时 解除注释 """ ...

  5. python网页爬虫小项目开发

    这是我最近接的一个小项目,花了是整整四天多时间. 任务是将http://www.examcoo.com/index/detail/mid/7网站下所有的试卷里的试题全部提取出来,首先按照题型进行分类, ...

  6. 23个Python爬虫开源项目代码，包含微信、淘宝、豆瓣、知乎、微博等

    今天为大家整理了23个Python爬虫项目.整理的原因是,爬虫入门简单快速,也非常适合新入门的小伙伴培养信心,所有链接指向GitHub,微信不能直接打开,老规矩,可以用电脑打开. 关注公众号「Pyth ...

  7. 23个Python爬虫开源项目代码，让你一次学个够

    今天为大家整理了23个Python爬虫项目.整理的原因是,爬虫入门简单快速,也非常适合新入门的小伙伴培养信心.所有链接指向GitHub,祝大家玩的愉快 1.WechatSogou [1]– 微信公众号 ...

  8. Python爬虫开源项目代码，爬取微信、淘宝、豆瓣、知乎、新浪微博、QQ、去哪网等 代码整理

    作者:SFLYQ 今天为大家整理了32个Python爬虫项目.整理的原因是,爬虫入门简单快速,也非常适合新入门的小伙伴培养信心.所有链接指向GitHub,祝大家玩的愉快 1.WechatSogou [ ...

  9. 23个Python爬虫开源项目代码

    今天为大家整理了23个Python爬虫项目.整理的原因是,爬虫入门简单快速,也非常适合新入门的小伙伴培养信心.所有链接指向GitHub,祝大家玩的愉快 1.WechatSogou [1]– 微信公众号 ...

随机推荐

  1. CF1272E. Nearest Opposite Parity 题解 广度优先搜索

    题目链接:http://codeforces.com/contest/1272/problem/E 题目大意: 有一个长度为n的数组 \(a\) ,数组坐标从 \(1\) 到 \(n\) . 假设你现 ...

  2. 1024 科学计数法 (20 分)C与Java

    科学计数法是科学家用来表示很大或很小的数字的一种方便的方法,其满足正则表达式 [±][1-9].[0-9]+E[±][0-9]+,即数字的整数部分只有 1 位,小数部分至少有 1 位,该数字及其指数部 ...

  3. RAID阵列

    • 廉价冗余磁盘阵列– Redundant Arrays of Inexpensive Disks– 通过硬件/软件技术,将多个较小/低速的磁盘整合成一个大磁盘– 阵列的价值:提升I/O效率.硬件级别 ...

  4. Spring Boot中利用递归算法查询到所有下级用户，并手动进行分页

    Spring Boot中利用递归算法查询到所有下级用户,并手动进行分页 前提:语言用的是kotlin(和Java一样,但更简洁),写下这篇文章用来记录编程过程中遇到的一些难点 1.功能需求 前端用户A ...

  5. [JavaScript设计模式]惰性单例模式

    惰性单例模式 之前介绍了JS中类的单例模式,这次我们讨论下单例模式的应用.在众多网站中,登录框的实现方式就是一个单例,点击一次就展示一次,所以我们可以在页面加载好的时候就创建一个登录框,点击页面上的登 ...

  6. 搞定SpringBoot多数据源(1)：多套源策略

    目录 1. 引言 2. 运行环境 3. 多套数据源 3.1 搭建 Spring Boot 工程 3.1.1 初始化 Spring Boot 工程 3.1.2 添加 MyBatis Plus 依赖 3. ...

  7. CVE-2019-0708远程桌面服务远程执行代码漏洞exp利用过程

    CVE-2019-0708远程桌面服务远程执行代码漏洞 上边这洞是啥我就不多说了,描述类的自行百度. 受影响系统版本范围: Windows Server 2008 R2 Windows Server ...

  8. 数字任意组合 - gcd

    链接:https://www.nowcoder.com/acm/contest/160/A来源:牛客网 题目描述有一个计数器,计数器的初始值为0,每次操作你可以把计数器的值加上a1,a2,...,an ...

  9. http GET 和 POST 请求的优缺点和误区 --前端优化

    Get和Post在面试中一般都会问到,一般的区别:(1)post更安全(不会作为url的一部分,不会被缓存.保存在服务器日志.以及浏览器浏览记录中)(2)post发送的数据更大(get有url长度限制 ...

  10. 2.Markdown学习

    Makrdown学习: 1.推荐编辑器: Typora [点击跳转](https://www.typora.io/) 2.标题: #空格一级标题名 ##空格二级标题名 3.字体: 粗体:** ** H ...