Scrapy+Scrapyd+Scrapydweb实现爬虫可视化

Scrapy+Scrapyd+Scrapydweb实现爬虫可视化

---

• Scrapyd是一个服务，用来运行scrapy爬虫的
• 它允许你部署你的scrapy项目以及通过HTTP JSON的方式控制你的爬虫
• 官方文档：http://scrapyd.readthedocs.org/

安装scrapyd

pip install scrapyd

• ScrapydWeb：用于 Scrapyd 集群管理的web应用，支持 Scrapy 日志分析和可视化。
• github地址

安装scrapydweb

pip install scrapydweb

启动

1. 运行scrapyd ,打开命令行执行 scrapyd启动服务
2. 通过运行命令 scrapydweb 启动 ScrapydWeb（首次启动将自动生成配置文件）。
3. 访问 http://127.0.0.1:5000 （建议使用 Google Chrome 以获取更好体验）。

注意

忘记了，以后再来写