我们已经讲解了Python内置的urllib模块,用于访问网络资源.但是,它用起来比较麻烦,而且,缺少很多实用的高级功能. 更好的方案是使用requests.它是一个Python第三方库,处理URL资源特别方便. 安装requests 如果安装了Anaconda,requests就已经可用了.否则,需要在命令行下通过pip安装: $ pip install requests 如果遇到Permission denied安装失败,请加上sudo重试. 使用requests 要通过GET访问一个页面,…

psutil 用Python来编写脚本简化日常的运维工作是Python的一个重要用途.在Linux下,有许多系统命令可以让我们时刻监控系统运行的状态,如ps,top,free等等.要获取这些系统信息,Python可以通过subprocess模块调用并获取结果.但这样做显得很麻烦,尤其是要写很多解析代码. 在Python中获取系统信息的另一个好办法是使用psutil这个第三方模块.顾名思义,psutil = process and system utilities,它不仅可以通过一两行代码实现系统…

chardet 字符串编码一直是令人非常头疼的问题,尤其是我们在处理一些不规范的第三方网页的时候.虽然Python提供了Unicode表示的str和bytes两种数据类型,并且可以通过encode()和decode()方法转换,但是,在不知道编码的情况下,对bytes做decode()不好做. 对于未知编码的bytes,要把它转换成str,需要先“猜测”编码.猜测的方式是先收集各种编码的特征字符,根据特征字符判断,就能有很大概率“猜对”. 当然,我们肯定不能从头自己写这个检测编码的功能,这样做费…

Pillow PIL:Python Imaging Library,已经是Python平台事实上的图像处理标准库了.PIL功能非常强大,但API却非常简单易用. 由于PIL仅支持到Python 2.7,加上年久失修,于是一群志愿者在PIL的基础上创建了兼容的版本,名字叫Pillow,支持最新Python 3.x,又加入了许多新特性,因此,我们可以直接安装使用Pillow. 安装Pillow 如果安装了Anaconda,Pillow就已经可用了.否则,需要在命令行下通过pip安装: $ pip i…

在python2中,urllib和urllib2都是接受URL请求的相关模块,但是提供了不同的功能.两个最显著的不同如下: 1.urllib2可以接受一个Request类的实例来设置URL请求的headers,例如: req = urllib2.Request( [python] view plain copy url=url, data=postdata, headers=headers ) result = urllib2.urlopen(req) 我们知道,HTTP是无连接的状态协议,但是…

目录 一.第三方模块的下载与使用 1.什么是第三方模块 2.如何安装第三方模块 方式一:pip工具 方式二:pycharm中下载 3.注意事项 1.报错并有警告信息 2.报错,提示关键字 3.报错,无关键字 4.下载速度慢 二.网络爬虫之requests模块 1.简介 2.使用方法 1.关键词:get( ) 2.关键词:encoding 3.关键词:content 4.关键词:text 5.关键词:url 6.关键词:status_code 三.网络爬虫实战 1.爬取链家网站房屋信息 四.ope…

1.requests简介 requests是什么?python语言编写的,基于urllib的第三方模块 与urllib有什么关系?urllib是python的内置模块,比urllib更加简洁和方便使用 requests有什么功能?提供一些列操作URL的方法,网页请求,响应信息获取,URL解析等功能 2.安装 通过pip安装 pip install requests 3.使用 主要方法:get,post,put,delete,patch >>import requests >>res…

一.简述 Requests HTTP Library 二.模块框架 ''' __version__ _internal_utils adapters api auth certs compat cookies exceptions help hooks models packages sessions status_codes structures utils ''' Packages ''' GET 请求获取URL位置的资源 HEAD 请求获取URL位置资源的响应消息报告,即获得该资源的头部信…

requests下载 英文网站 http://docs.python-requests.org/en/master/ 中文网站 http://docs.python-requests.org/zh_CN/latest/user/install.html ---------------------------------------------------------------------------------------------------------------------------…

如何安装第三方模块 pip3         pip3 install xxxx          源码         下载,解压         进入目录 python setup.py install requests 最常用的测试方法import requests a = requests.get("http://127.0.0.1:8000/test/", ) python 标准库中提供了:urllib等模块以供http请求,但是,它的API太渣了.他是为另一个时代.另一个互…