Gerapy是一个Scrapy分布式管理模块,本节就来介绍一下它的安装方式. 1. 相关链接 GitHub:https://github.com/Gerapy 2. pip安装 这里推荐使用pip安装,命令如下: pip3 install gerapy 3. 测试安装 安装完成后,可以在Python命令行下测试: $ python3 >>> import gerapy 如果没有错误报出,则证明库已经安装好了.…

百度云盘:Python3网络爬虫开发实战高清完整版免费下载 提取码:d03u 内容简介 本书介绍了如何利用Python 3开发网络爬虫,书中首先介绍了环境配置和基础知识,然后讨论了urllib.requests.正则表达式.Beautiful Soup.XPath.pyquery.数据存储.Ajax数据爬取等内容,接着通过多个案例介绍了不同场景下如何实现数据爬取,后介绍了pyspider框架.Scrapy框架和分布式爬虫. 本书适合Python程序员阅读. 作者简介 崔庆才 北京航空航天大学硕士…

1.配置环境 阿里云的版本是2.7.5,所以用pyenv新安装了一个3.6.4的环境,安装后使用pyenv global 3.6.4即可使用3.6.4的环境,我个人比较喜欢这样,切换自如,互不影响. 如下图: 接下来按照大才的文章,pip install gerapy即可,这一步没有遇到什么问题.有问题的同学可以向大才提issue. 2. 开启服务 首先去阿里云的后台设置安全组   ,我的是这样: 然后到命令窗口对8000和6800端口放行即可. 接着执行 gerapy init cd gera…

一.安装 pip3 install -U gerapy 使用python3.68版本安装gerapy,报错提示:ModuleNotFoundError: No module named 'setuptools_rust' 解决方法更新pip3 pip3 install --upgrade pip 安装后,测试是否安装成功: [root@iZwz927xptl8kw8zqrmwvcZ bin]# gerapy Usage: gerapy [-v] [-h] ... Gerapy 0.9.10 -…

Flask是一个轻量级的Web服务程序,它简单.易用.灵活,这里主要用来做一些API服务. 1. 相关链接 GitHub:https://github.com/pallets/flask 官方文档:http://flask.pocoo.org 中文文档:http://docs.jinkan.org/docs/flask PyPI:https://pypi.python.org/pypi/Flask 2. pip安装 这里推荐使用pip安装,命令如下: pip3 install flask 运行完…

对于Redis来说,我们要使用redis-py库来与其交互,这里就来介绍一下它的安装方法. 1. 相关链接 GitHub:https://github.com/andymccurdy/redis-py 官方文档:https://redis-py.readthedocs.io/ 2. pip安装 这里推荐使用pip安装,命令如下: pip3 install redis 运行完毕之后,即可完成redis-py的安装. 3. 验证安装 为了验证redis-py库是否已经安装成功,可以在命令行下测试一下…

Appium是移动端的自动化测试工具,类似于前面所说的Selenium,利用它可以驱动Android.iOS等设备完成自动化测试,比如模拟点击.滑动.输入等操作,其官方网站为:http://appium.io/.本节中,我们就来了解一下Appium的安装方式. 1. 相关链接 GitHub:https://github.com/appium/appium 官方网站:http://appium.io 官方文档:http://appium.io/introduction.html 下载链接:http…

Scrapyd是一个用于部署和运行Scrapy项目的工具,有了它,你可以将写好的Scrapy项目上传到云主机并通过API来控制它的运行. 既然是Scrapy项目部署,基本上都使用Linux主机,所以本节的安装是针对于Linux主机的. 1. 相关链接 GitHub:https://github.com/scrapy/scrapyd PyPI:https://pypi.python.org/pypi/scrapyd 官方文档:https://scrapyd.readthedocs.io 2. pi…

PhantomJS是一个无界面的.可脚本编程的WebKit浏览器引擎,它原生支持多种Web标准:DOM操作.CSS选择器.JSON.Canvas以及SVG. Selenium支持PhantomJS,这样在运行的时候就不会再弹出一个浏览器了.而且PhantomJS的运行效率也很高,还支持各种参数配置,使用非常方便.下面我们就来了解一下PhantomJS的安装过程. 1. 相关链接 官方网站:http://phantomjs.org 官方文档:http://phantomjs.org/quick-s…

Scrapy-Splash是一个Scrapy中支持JavaScript渲染的工具,本节来介绍它的安装方式. Scrapy-Splash的安装分为两部分.一个是Splash服务的安装,具体是通过Docker,安装之后,会启动一个Splash服务,我们可以通过它的接口来实现JavaScript页面的加载.另外一个是Scrapy-Splash的Python库的安装,安装之后即可在Scrapy中使用Splash服务. 1. 相关链接 GitHub:https://github.com/scrapy-pl…