---恢复内容开始---

注:学习中国大学mooc 嵩天课程 的学习笔记

request的七个主要方法

request.request() 构造一个请求用以支撑其他基本方法

request.get(url,params=None,**kwarg)  12个参数     获取html的主要方法,对应于http的GET

request.head(url,**kwargs)   13个参数  获取网页头信息的方法,对应于http的head

request.post(url,data=None,json=None,**kwarg)11个采纳数  向网页中提交post请求的方法,对应于http中的post

requset.put(url,data,**kwarg)    向网页中提交put请求的方法,对应于http中的put

request.patch(url,data,**kwarg)   向http网页中提交局部修改请求,对应于http中的patch

request.delete(url,**kwarg)   向http网页中提交局部修改请求,对应于http中的delete

1.request.get(url,parm,更多参数)

r=requests.get(rul)

先构造一个request对象

返回一个response对象(包含爬虫返回的内容)

response 对象的五个属性

1 r.status_code 状态码 200表示连接成功 404表示连接失败 不是200都是失败的

2 r.text    以字符串的形式返回url对应的网络内容

3 r.encoding 从http header 中猜测相应内容的编码方式// 从header 中的charset字段 中找编码方式 如果没有 认为是 ISO-8859-1(无法解析中文)

4 r.apparent_encoding 从内容中分析出相应内容的编码方式(备选编码方式)(更加准确)

5 r.content http 相应内容的二进制形式

6.r.headers 返回头部信息

#可以赋值 r.encoding="utf-8" 然后用 r.text 来读取

2 理解Request 库的异常

request.ConnnectionError   DNS查询失败 拒绝链接

request.HTTPError     HTTP错误异常

request.URLRequired    URL缺失异常

request.TooManyRedirects 超过最大重定向次数。产生重定向异常

request.ConnectTimeout   连接服务器超市异常

request.Timeout       请求RUL超市 产生超时异常

r.raise_for_status()   [response 对象的方法] 如果r状态码不是200  引发 HTTPError 异常

3.http 协议

http hypertest transfer Protocol

url格式 : URL格式

http://host[:port][path]

host 合法的internet主机域名或IP地址

port 端口号,缺省端口为80

path 请求资源的路径

http://www.bit.edu.cn

http://220.181.111.188/duty

URL 是通过HTTP协议存取资源的Internet路径

1 http 协议对资源的操作

GET   请求URL位置的资源

HEAD    请求获取URL位置资源的相应信息报告,即获得该资源的头部信息

POST   请求向URL位置的资源后附加新的信息

PUT   请求向URL位置存储一个资源,覆盖原URL位置的资源

PATCH   请求更新局部的URL位置资源,即改变该处的资源部分内容

DELETE  请求删除URL位置的资源

注:与request 的方法一一对应

2 一些简单操作

1 post  方法

payload={"key":"value1","key2":"value2"}

r=request.post("http://baabala.com",data=payload)

print(r.text)

{

}

使用post 一个字典 自动编码为form 表单

payload={"ACB"}

r=request.post("http://baabala.com",data=payload)

print(r.text)

{

}

使用post 一个字典 自动编码为data

使用post 一个字符串 自动编码为form 表单

put 方法也一样,但是会自动覆盖原先的内容

4 requests 详解

requset.requst(method,url,**kwargs)

method : 请求方式

url :获取页面的链接

**kwargs 其他的参数(13)

method(7种)就是操作

**kwargs

1.params 字典或者字节序列,作为参数增加到url中

例:kv={"key1":"value1","key2":value2"}

r=requests.requset("GET","http://pythonoo123.io/ws",params=kv)

print(r.url)

http://python123.io/ws?key1=value1&key2=value2

2.data 字典字节序列或者文件对象,作为request的内容

3.josn JSON格式的数据作为request的内容

4.header     字典 HTTP 定制头

例: hd={"user-agent":"Chrome/10"}

r=request.request("POST","http://pythonoo123.io/ws",headers=hd)

5.cookies :字典或Cookiejar

6.auth :元祖,支持HTTP认证功能

7.file 字典类型,传输文件

例:fs={"file":open(open(“data.xls”,"rb"))}

r=requests.request("post","http://pythonoo123.io/ws",files=fs)

8.timeout 超时时间,一秒为单位

9.proxies:字典类型,设定代理服务器,可以增加登录认证

例: pxs{"http":"http://user:pass@10.10.1.1234","https":"https://10.10.10.1:4321"}

r=request.request("GET",""http://pythonoo123.io/ws",proxies=pxs)利用其设置代理

10.allow_redirects: True/False,默认为True,重定向开关,是否允许对url重定向

11.stream: True/False,默认为True 获取内容立即下载开关

12.verify:True/False,默认为True,认证SSL 证书开关

13.cert 保存本地 SSL 路径字段

---恢复内容结束---

Python网络爬虫与信息提取[request库的应用](单元一)的更多相关文章

  1. Python网络爬虫与信息提取

    1.Requests库入门 Requests安装 用管理员身份打开命令提示符: pip install requests 测试:打开IDLE: >>> import requests ...

  2. 第三次作业-Python网络爬虫与信息提取

    1.注册中国大学MOOC 2.选择北京理工大学嵩天老师的<Python网络爬虫与信息提取>MOOC课程 3.学习完成第0周至第4周的课程内容,并完成各周作业 过程. 5.写一篇不少于100 ...

  3. 第三次作业-MOOC学习笔记:Python网络爬虫与信息提取

    1.注册中国大学MOOC 2.选择北京理工大学嵩天老师的<Python网络爬虫与信息提取>MOOC课程 3.学习完成第0周至第4周的课程内容,并完成各周作业 第一周 Requests库的爬 ...

  4. 第3次作业-MOOC学习笔记:Python网络爬虫与信息提取

    1.注册中国大学MOOC 2.选择北京理工大学嵩天老师的<Python网络爬虫与信息提取>MOOC课程 3.学习完成第0周至第4周的课程内容,并完成各周作业 4.提供图片或网站显示的学习进 ...

  5. Python网络爬虫与信息提取笔记

    直接复制粘贴笔记发现有问题 文档下载地址//download.csdn.net/download/hide_on_rush/12266493 掌握定向网络数据爬取和网页解析的基本能力常用的 Pytho ...

  6. 【学习笔记】PYTHON网络爬虫与信息提取(北理工 嵩天)

    学习目的:掌握定向网络数据爬取和网页解析的基本能力the Website is the API- 1 python ide 文本ide:IDLE,Sublime    Text集成ide:Pychar ...

  7. Python网络爬虫与信息提取(一)

    学习 北京理工大学 嵩天 课程笔记 课程体系结构: 1.Requests框架:自动爬取HTML页面与自动网络请求提交 2.robots.txt:网络爬虫排除标准 3.BeautifulSoup框架:解 ...

  8. Python网络爬虫与信息提取(二)—— BeautifulSoup

    BeautifulSoup官方介绍: Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式. 官方 ...

  9. python网络爬虫与信息提取 学习笔记day2

    Day2: 查看robots协议: 查看京东的robots协议 查看百度的robots协议,可以看到百度拒绝了搜狗的爬虫233 爬取京东商品页面相关信息: import requests url = ...

随机推荐

  1. 深入浅出Mybatis系列(一)---Mybatis入门[转]

    最近两年 springmvc + mybatis 的在这种搭配还是蛮火的,楼主我呢,也从来没真正去接触过mybatis, 趁近日得闲, 就去学习一下mybatis吧. 本次拟根据自己的学习进度,做一次 ...

  2. Java-Druid:目录

    ylbtech-Java-Druid:目录 1.返回顶部   2.返回顶部   3.返回顶部   4.返回顶部   5.返回顶部     6.返回顶部   作者:ylbtech出处:http://yl ...

  3. java接口的意义

    java当中继承一个接口,要重写他的方法的话,那为什么还要多此一举的去实现一个接口呢? 直接把方法写在类当中不就可以了?就是说去掉类名后面的Implements 接口 ,可以不可以呢? 接口的最主要的 ...

  4. jeecms v9 vue环境搭建

    一.安装NODEJS运行环境 前往nodejs官网下载nodejs,https://nodejs.org/en/ ,建议下载最新稳定版的,下载后安装即可,下载选择类似如下 安装完毕之后,在cmd中输入 ...

  5. PAT甲级——A1105 Spiral Matrix【25】

    This time your job is to fill a sequence of N positive integers into a spiral matrix in non-increasi ...

  6. JVM系列(四)— 原子性、可见性与有序性

    上一篇讲了Java内存模型的相关知识,模型设计正是围绕着并发过程中如何处理原子性,可见性和有序性这3个特征来建立的 一.原子性(Atomicity) 原子性的概念无需多说,熟悉事物的4个特性的应该比较 ...

  7. spring容器创建bean对象的方式

    xml文件中有bean的配置,而且这个bean所对应的java类中存在一个无参构造器 那么这个时候spring容器就可以使用反射调用无参构造器来创建实例了(常规的方式) 通过工厂类获得实例(工厂类实现 ...

  8. Linux下使用SSH命令行传输文件到远程服务器

    目标:CentOS 7 调整 home分区 扩大 root分区 总体过程: 把/home内容备份,然后将/home文件系统所在的逻辑卷删除,扩大/root文件系统,新建/home ,恢复/home内容 ...

  9. 基于httpd2.2配置https

    本次演示使用一台主机实现,即自签自演 主机IP:192.168.1.105 开始配置: 1.创建私有CA # cd /etc/pki/CA # touch serial # touch index.t ...

  10. csp-s模拟48,49 Tourist Attractions,养花,画作题解

    题面:https://www.cnblogs.com/Juve/articles/11569010.html Tourist Attractions: 暴力当然是dfs四层 优化一下,固定两个点,答案 ...