下文中“:”后面安装的安装语句需要打开 cmd (命令提示符),在 cmd 中输入。

示例:

在搜索框输入 cmd,单机命令提示符:

然后输入安装语句,按回车键:

因为我之前已经装过了,所以这里显示的是已经安装成功过,没安装过的下面会显示安装过程,最后看到安装成功的英文就是成功安装了。

1. 请求库的安装

  • requests 是基于urllib3的一个用于发起http请求的库,这个库相较于urllib更快,更易用。

    pip install requests

  • selenium 是一个自动化测试工具,利用他我们可以驱动浏览器执行特定的动作。

    pip install selenium

  • aiohttp 是提供异步Web服务的库。

    pip install aiohttp

2. 解析库的安装

  • lxml 支持 HTML 和 XML 的解析,支持 XPath 解析方式,而且解析效率非常高。

    pip install lxml

  • Beautiful Soup 是 Python 的一个 HTML 和 XML 的解析库,我们可以用它来方便地从网页中提取数据。它还拥有强大的 API 和多样的解析方式。不够 Beautiful Soup 的 HTML 和 XML 解析器是依赖于 lxml 库的,所以在此之前必须先安装 lxml 库。

    pip install beautifulsoup4

  • pyquery 是一个强大的网页解析器,提供了和 jQuery 类似的语法来解析 HTML 文档,支持 CSS 选择器,使用非常方便。

    pip install pyquery

3. 存储库的安装

  • pymongo 用来与 MongoDB 进行交互。

    pip install pymongo

  • pymysql 用来将数据存储到 MySQL 中。

    pip install pymysql

  • redis-py 用来与 Redis 进行交互

    pip install redis

  • redisdump 用于 Redis 数据的导入和导出的工具,是基于 Ruby 实现的,所以在此之前要先安装 Ruby。

    pip install redis-dump

4. Web库的安装

  • flask 是一个轻量级的 Web 服务程序,简单、易用、灵活,这里主要用来做一些 API 服务。

    pip install flask

  • tornado 是一个支持异步的框架,通过使用非阻塞 I/O 流,它可以支撑成千上万的开放连接,效率非常高。

    pip install tornado

5. 爬虫框架的安装

  • pyspider 是强大网络爬虫框架,带有强大的 WebUI 、脚本编译器、任务监控器、项目管理器以及结果处理器,同时支持多种数据库后端、多种消息列表,另外还支持 JavaScript 渲染页面的爬取,使用起来很方便。

    pip install pyspider

Python 关于 pip 部分相关库的安装的更多相关文章

  1. Python爬虫--- 1.1请求库的安装与使用

    来说先说爬虫的原理:爬虫本质上是模拟人浏览信息的过程,只不过他通过计算机来达到快速抓取筛选信息的目的所以我们想要写一个爬虫,最基本的就是要将我们需要抓取信息的网页原原本本的抓取下来.这个时候就要用到请 ...

  2. python爬虫知识点总结(一)库的安装

    环境要求: 1.编程语言版本python3: 2.系统:win10; 3.浏览器:Chrome68.0.3440.75:(如果不是最新版有可能影响到程序执行) 4.chromedriver2.41 注 ...

  3. UI自动化的第一步(Python,pip,selenium,PyCharm安装配置)

    一,py安装 1.python下载,安装,环境配置 地址:https://www.runoob.com/python/python-install.html 注意:安装时,要勾选自动配置环境变量.这样 ...

  4. 安装 python 的 pip install fabric 库 问题

    安装 pip install fabric 安装依赖需要 gcc 并且不能单独的安装gcc 还要安装完整的gcc依赖 yum -y install gcc gcc-c++ kernel-devel y ...

  5. python使用pip 18以上版本离线安装package

    在内网办公环境,常常需要使用离线安装python的软件包. 一般都会先在互联网的电脑上下载,再拷贝到内网办公机器上进行离线安装. 一般来说,我是这样做的: 1.拷贝和外网电脑上版本一致,且32位或64 ...

  6. 13.App爬取相关库的安装(Charles,Mitmproxy,Appium)

    由于App没有像浏览器一样直观的后台请求工具,主要用一些抓包技术抓取数据.(目前也在学习安装,参考书籍.) 首先呢,一些简单的接口通过Charles或mitmproxy分析,找出规律,直接用程序去抓取 ...

  7. 2.App爬取相关库的安装(安装mitmproxy)

    mitmproxy 是一个支持HTTP 和HTTPS 的抓包程序,类似fiddler,Charles的功能(它通过控制台的形式操作). mitmproxy 两个关键的组件:mitmdump 和 mit ...

  8. Python基础 - pip导出依赖环境和安装依赖环境的命令

    导出:    pip freeze > requirements.txt 安装:    pip install -r requirements.txt

  9. 1.App爬取相关库的安装(安装Charles及手机端证书安装配置)

    一.官网下载Charles安装包: https://www.charlesproxy.com/download1.下载对应版本 我这里下载的是 win 64 bit (下载完解压,双击打开charle ...

随机推荐

  1. hdu 2586 How far away?(LCA模板题+离线tarjan算法)

    How far away ? Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 32768/32768 K (Java/Others)To ...

  2. 五分钟学会conda常用命令

    文章目录 conda常用命令 1. 获取版本号 2. 获取帮助 3. 环境管理 4. 分享环境 5. 包管理 conda常用命令 1. 获取版本号 conda --version 或 conda -V ...

  3. ProjectServer2010升级到ProjectServer2016,Sharepoint2010升级到Sharepoint2016第三章

    继续上一章,转换了身份认证模式后继续将WSS_Content备份还原到2016数据库服务器上升级,发现还是报错,报错截图如下: 查看日志,提到某些网站集还体验还是2010的,需要升级,可是我明明升级了 ...

  4. RMAN 下NOARCHIVELOG和ARCHIVE模式的恢复

    恢复处于NOARCHIVELOG模式的数据库 当数据库处于NOARCHIVELOG模式时,如果出现介质故障 ,则最后一次备份之后对数据库所做的任何操作都将丢失.通过RMAN执行恢复时,只需要执行res ...

  5. 'OracleInternal.MTS.DTCPSPEManager' 类型初始值设定项引发异常

    环境:VS2010,.NET Framework 4.0,Oracle.ManagedDataAccess    在最近做一个项目中,用到了Oracle数据库,使用Oracle.ManagedData ...

  6. Linux ipv6 无状态 设置为 eui64

    Linux ipv6 无状态 设置为 eui64 转载注明来源: 本文链接 来自osnosn的博客,写于 2019-08-22. 无状态的ipv6有eui64和stable-privacy模式, 在家 ...

  7. [Codeforces 1244C] The Football Season

    思维加枚举 题意 :足球赛,赢平所得到的分数分别为w和d,w>d,分别求赢平输的场数,输出一组即可,即x+y+z=n 且 xw+yd=p的一组解. 可以扩展公约数做,但由于注意到d和w<1 ...

  8. 通过Ajax的访问zuul的跨域问题解决方案

    刚开始在使用jqueryajax跨域请求zuul网关时,在后台发现一直拿不到前台请求的json数据,而前台也一直拿不到后台的响应数据.打开浏览器调试程序发现,本身ajax的POST请求统一都变成了op ...

  9. 一分钟教你编写Linux全局内置命令

    前言:在linux命令使用中,有些命令总是又长又难记,就算是经常使用的命令每次都敲也真的很烦,所以今天教大家一个方法,来简化命令,创建我们自己的内建命令!!! 创建内置命令 创建命令存储目录 现在li ...

  10. mysql字符集与比较规则

    MySQL有4个级别的字符集和比较规则,分别是: 服务器级别 数据库级别 表级别 列级别 查看服务器级别命令: mysql> SHOW VARIABLES LIKE 'character_set ...