找python爬虫小项目?github给你准备好了!
前言
即使我们都是程序员,但我们也并非都会修电脑,都会做酷炫的ppt,都会优化系统卡顿。其实程序员也是分行业、分专业的,就像医生也分内外科、呼吸科、神经科神的。
作为非专业的python选手,或者非专业的爬虫选手,即使我们有一些编程基础,有时想通过代码从网上获取一些信息,也不能徒手就能做,需要借鉴一些成熟的方案、代码。
这就是为什么GitHub现在这么流行的原因。作为小白的一番,今天找到一个非常不错的爬虫收集项目,推荐给大家。
GitHub搜索技巧
网上也有一些分享的再github上搜索项目的技巧,其实,很多都是从官方文档来的。所以,我们想真的精通Github搜索,那么就去给官网链接上查吧。
- GitHub帮助中心:『https://help.github.com/en/github/searching-for-information-on-github/searching-on-github』
如果觉得英文看着吃力,这里一番也找到一个部分翻译的文章:
- github 项目搜索技巧-让你更高效精准地搜索项目:『https://www.cnblogs.com/suwanbin/p/12113751.html』
比如,我们要搜爬虫相关的,2020年1月1日以后还有更新的,stars数超过100的,可以用这样的命令:
in:description spider pushed:>2020-01-01 stars:>100
再选择一下排序,会得到这样的结果:
awesome-spider
- awesome-spider:『https://github.com/facert/awesome-spider』
这其实是一个整理收集爬虫项目的项目,对于一番开篇说的非专业爬虫小户来讲,可以发现很多实用的项目。
不得不说,资源整合的能力有时比创造资源更重要。
我们来看下它收集了哪些项目,有没有你感兴趣的?
A
B
- Bilibili 用户
- Bilibili 视频
- Bilibili 小视频
- Bing美图爬虫
- B站760万视频信息爬虫
- 博客园(node.js)
- 百度百科(node.js)
- 北邮人水木清华招聘
- 百度云网盘
- 琉璃神社爬虫
- Boss 直聘
- 贝壳网找房爬虫
C
D
E
G
H
I
J
K
L
M
- 马蜂窝 用户足迹
- MyCar
- 漫画喵 一键下载漫画~
- MM131性感美女写真图全爬取
- 美女写真套图爬虫 (一)(二)(三)
- 妹子图
- 猫眼网电影评分
N
O
P
Q
R
S
T
V
W
X
Y
Z
#
其他
一番雾语:资源整合的能力有时比创造资源更重要。
![]() |
免费知识星球:一番码客-积累交流 微信公众号:一番码客 微信:Efon-fighting 网站:http://www.efonmark.com |
找python爬虫小项目?github给你准备好了!的更多相关文章
- python爬虫小项目实战
- 一个python爬虫小程序
起因 深夜忽然想下载一点电子书来扩充一下kindle,就想起来python学得太浅,什么“装饰器”啊.“多线程”啊都没有学到. 想到廖雪峰大神的python教程很经典.很著名.就想找找有木有pdf版的 ...
- python爬虫scrapy项目详解(关注、持续更新)
python爬虫scrapy项目(一) 爬取目标:腾讯招聘网站(起始url:https://hr.tencent.com/position.php?keywords=&tid=0&st ...
- 记一次python + selenium小项目出现的问题与解决办法
记一次python + selenium小项目出现的问题与解决办法 如何接入代理 def crawl_xdaili(self):#代理 可不用 需要时 解除注释 """ ...
- python网页爬虫小项目开发
这是我最近接的一个小项目,花了是整整四天多时间. 任务是将http://www.examcoo.com/index/detail/mid/7网站下所有的试卷里的试题全部提取出来,首先按照题型进行分类, ...
- 23个Python爬虫开源项目代码,包含微信、淘宝、豆瓣、知乎、微博等
今天为大家整理了23个Python爬虫项目.整理的原因是,爬虫入门简单快速,也非常适合新入门的小伙伴培养信心,所有链接指向GitHub,微信不能直接打开,老规矩,可以用电脑打开. 关注公众号「Pyth ...
- 23个Python爬虫开源项目代码,让你一次学个够
今天为大家整理了23个Python爬虫项目.整理的原因是,爬虫入门简单快速,也非常适合新入门的小伙伴培养信心.所有链接指向GitHub,祝大家玩的愉快 1.WechatSogou [1]– 微信公众号 ...
- Python爬虫开源项目代码,爬取微信、淘宝、豆瓣、知乎、新浪微博、QQ、去哪网等 代码整理
作者:SFLYQ 今天为大家整理了32个Python爬虫项目.整理的原因是,爬虫入门简单快速,也非常适合新入门的小伙伴培养信心.所有链接指向GitHub,祝大家玩的愉快 1.WechatSogou [ ...
- 23个Python爬虫开源项目代码
今天为大家整理了23个Python爬虫项目.整理的原因是,爬虫入门简单快速,也非常适合新入门的小伙伴培养信心.所有链接指向GitHub,祝大家玩的愉快 1.WechatSogou [1]– 微信公众号 ...
随机推荐
- JWT (一):认识 JSON Web Token
JWT(一):认识 JSON WebToken JWT(二):使用 Java 实现 JWT 什么是 JWT? JSON Web Token(JWT)是一种开放标准(RFC 7519),它定义了一种紧凑 ...
- .NET Core学习笔记(3)——async/await中的Exception处理
在写了很多年.NET程序之后,年长的猿类在面对异步编程时,仍不时会犯下致命错误,乃至被拖出去杀了祭天.本篇就async/await中的Exception处理进行讨论,为种族的繁衍生息做出贡献……处理a ...
- Java Collection集合中的iterator方法
Iterator接口的概述 /** * java.util.Iterator接口:选代器(对集合进行遍历) * 有两个常用的方法 * boolean hasNext() * 如果仍有元素可以迭代,则返 ...
- CDQ 入门
推荐博客 :https://blog.csdn.net/wu_tongtong/article/details/78785836 https://www.cnblogs.com/mlystdcall/ ...
- 村庄之间建立邮局 - 区间 dp
There is a straight highway with villages alongside the highway. The highway is represented as an in ...
- spark storm 反压
因特殊业务场景,如大促.秒杀活动与突发热点事情等业务流量在短时间内剧增,形成巨大的流量毛刺,数据流入的速度远高于数据处理的速度,对流处理系统构成巨大的负载压力,如果不能正确处理,可能导致集群资源耗尽最 ...
- python shutil 文件(夹)的复制、删除、移动、压缩和解压
高级的 文件.文件夹.压缩包 处理模块 shutil.copyfileobj(fsrc, fdst[, length])将文件内容拷贝到另一个文件中 import shutil shutil.copy ...
- Scrapy的基本使用
爬取:http://quotes.toscrape.com 单页面 # -*- coding: utf-8 -*- import scrapy class QuoteSpider(scrapy.Spi ...
- Linux下搭建Jmeter+Ant+Jenkins自动化测试框架
前言 在之前的文章中,我们学习了通过Ant调用Jmeter脚本生成HTML测试报告,但未实现自动执行脚本生成报告,同时生成的报告是在Linux下,查看报告很不方便.因此,我们将结合Jenkins来进一 ...
- Java单体应用 - Markdown - 01.简介
原文地址:http://www.work100.net/training/monolithic-markdown.html 更多教程:光束云 - 免费课程 简介 序号 文内章节 视频 1 概述 2 特 ...