1、anaconda的安装

1.1 、安装可执行程序

1.2 、配置环境变量

​ 根据环境变量的先后顺序去查找可执行程序文件,如果查找到就执行,如果查找不到就报错。

​ anaconda主要配置:

​ python.exe

​ pip.exe

1.3 、python的多版本兼容问题

​ 修改可执行程序的文件名,再配置环境变量

1.4 、hash案例

import hashlib

def md5_encryption(value):
"""
对字符串进行加密
:param value:待加密的字符串
:return:进行md5加密后的值
"""
md5 = hashlib.md5()
md5.update(value.encode('utf-8'))
return md5.hexdigest()

2、requests模块

2.1、get 请求

(1)、使用步骤

import requests  				# 1、导包

response = requests.get(url)  	# 2、发送请求,获取响应
response.text # 3、获取响应内容

(2)、get请求详细参数

requests.get(
url=url, # 请求的url
headers=headers # 请求头【字典】
params=params # 请求参数【字典】
)
# 返回一个response对象

(3)、response对象的属性

  1. 获取响应正文的内容

    • response.text :获取字符串格式的响应正文内容
    • response.content:获取二进制格式的响应正文内容
  2. 获取响应正文的编码类型:response.encoding

    之所以能够通过response.text获取响应内容的字符串,是因为requests底层使用response.encoding来将正文的二进制类型变成字符串的。

  3. 其他

    • response.status_code:状态码
    • response.headers:响应头
    • response.url:完整url
  4. 乱码问题的解决办法

    产生乱码的原因就编解码时不一致,可以通过以下两种方法解决:

    • a、response.content.decode('页面对应的编码格式')
    • b、response.encoding='页面正确的编码',然后通过response.text就能获取正确的页面内容
  5. get请求案例

    案例一:将百度贴吧的前10页保存到本地

import requests
import os base_url = 'http://tieba.baidu.com/f?'
kw = '刘亦菲' # 搜索的关键词
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36',
} filename = './tieba/' + kw # 爬取的网页存放路径 if not os.path.exists(filename):
# 如果不存在存放该网页的目录,就创建此目录
os.mkdir(filename) # 将网页的前10页保存到本地
for i in range(10):
params = {
'kw': kw,
'ie': 'utf-8',
'pn': i*50
}
response= requests.get(url=base_url, headers=headers, params=params) with open(filename+'/'+kw+str(i+1)+'.html', 'w', encoding='utf-8') as f:
f.write(response.text)

案例二:百度翻译

import requests

base_url = 'https://fanyi.baidu.com/sug/'
kw = 'product' data = {
'kw': kw
} headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36',
'x-requested-with': 'XMLHttpRequest',
'cookie': cookie;
'origin': 'https://fanyi.baidu.com',
'referer': 'https://fanyi.baidu.com/',
'content-length': str(len(str(data))), # 参数内容中所有所有字符的长度
} response = requests.post(url=base_url, headers=headers, data=data)
# 如果response的内容是json数据,可以通过reponse.json()直接获取json数据,返回的是一个字典或者list
json_data = response.json() res = ''
for data in json_data['data']:
res += data['v'] + '\n'
print(res)

2.2、 post请求

(1)、post请求详细参数

requests.get(
url=url, # 请求的url
headers=headers # 请求头【字典】
data=data # 请求参数【字典】
)
# 返回一个response对象

通常很多网页是通过Ajax发送post请求获取数据,此时需要找发送Ajax请求携带的数据,也就是请求参数。

找请求参数有三种方法:

  1. 查看这条ajax接口之前有没有发送过一些ajax接口,如果有,可能这些接口的其中一个的响应内容里面包含这个接口的数据。
  2. 有可能这个请求参数写死到页面中的。一般这种情况出现在滚动加载的第一版数据的获取,有可能这么做。
  3. 在js文件中去寻找参数。

案例一:有道翻译

import requests
import hashlib
import time
import random base_url = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'
kw = 'run' def get_md5(value):
md5 = hashlib.md5()
md5.update(value.encode('utf-8'))
return md5.hexdigest() """
由于salt、sign和ts这3个参数由fanyi.js文件中js动态生成的
因此在发送post请求前,需要去动态地生成它们的值
salt = "" + (new Date).getTime() + parseInt(10 * Math.random(), 10)
ts = "" + (new Date).getTime()
sign = n.md5("fanyideskweb" + e + salt + "n%A-rKaT5fb[Gy?;N5@Tj")
""" salt = str(int(time.time() * 1000)) + str(random.randint(1, 10))
sign = get_md5("fanyideskweb" + kw + salt + "n%A-rKaT5fb[Gy?;N5@Tj")
ts = str(int(time.time() * 1000)) data = {
'i': kw,
'from': 'AUTO',
'to': 'AUTO',
'smartresult': 'dict',
'client': 'fanyideskweb',
'salt': salt,
'sign': sign,
'ts': ts,
'bv': '710f3e24cb0088b9d9ea448919deb3bb',
'doctype': 'json',
'version': '2.1',
'keyfrom': 'fanyi.web',
'action': 'FY_BY_REALTlME'
} headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36',
'X-Requested-With': 'XMLHttpRequest',
'Origin': 'http://fanyi.youdao.com',
'Referer': 'http://fanyi.youdao.com/',
'Cookie': 'OUTFOX_SEARCH_USER_ID_NCOO=1291930369.870429; _ga=GA1.2.27463077.1574943185; _gid=GA1.2.609141079.1574943185; OUTFOX_SEARCH_USER_ID="10809467@10.108.160.18"; JSESSIONID=aaa7W8E0vjuZ-5hRbD26w; ___rl__test__cookies=1575019115684',
'Content-Length': str(len(str(data))), } response = requests.post(url=base_url, headers=headers, data=data)
json_data = response.json()
res = ''
for data in json_data['smartResult']['entries']:
res += data
print(res)

2.3、Cookies 和 Session

Cookies

如果一个响应中包含了cookie,那么我们可以利用 cookies参数拿到:

import requests

base_url = "https://www.baidu.com"

response = requests.get(url=base_url)

#  返回CookieJar对象:
cookiejar = response.cookies # 返回CookieJar对象
print(cookiejar) # 将CookieJar转为字典:
cookiedict = requests.utils.dict_from_cookiejar(cookiejar)
print(cookiedict)

运行结果:

<RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/>]>
{'BDORZ': '27315'}

Session

在 requests 里,session对象是一个非常常用的对象,这个对象代表一次用户会话:从客户端浏览器连接服务器开始,到客户端浏览器与服务器断开。

会话能让我们在跨请求时候保持某些参数,比如在同一个 Session 实例发出的所有请求之间保持 cookie 。

实现人人网登录

import requests

# 1、创建session对象,可以保存cookie值
se = requests.session() # 2、处理 headers
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36',
} # 3、需要登录的用户名和密码
data = {
'email':'用户名',
'password':'密码'
} # 4、发送附带用户名和密码的请求,并获取登录后的Cookie值,保存在ssion里
se.post("http://www.renren.com/PLogin.do", data=data, headers=headers) # 5、se中包含用户登录后的Cookie值,可以直接访问那些登录后才可以访问的页面
response = se.get("http://www.renren.com/410043129/profile") if '用户名' in response.text:
print(response)
print('登录成功!')
else:
print('登录失败')

day02_Requests模块的更多相关文章

  1. npm 私有模块的管理使用

    你可以使用 NPM 命令行工具来管理你在 NPM 仓库的私有模块代码,这使得在项目中使用公共模块变的更加方便. 开始前的工作 你需要一个 2.7.0 以上版本的 npm ,并且需要有一个可以登陆 np ...

  2. node.js学习(三)简单的node程序&&模块简单使用&&commonJS规范&&深入理解模块原理

    一.一个简单的node程序 1.新建一个txt文件 2.修改后缀 修改之后会弹出这个,点击"是" 3.运行test.js 源文件 使用node.js运行之后的. 如果该路径下没有该 ...

  3. ES6模块import细节

    写在前面,目前浏览器对ES6的import支持还不是很好,需要用bable转译. ES6引入外部模块分两种情况: 1.导入外部的变量或函数等: import {firstName, lastName, ...

  4. Python标准模块--ContextManager

    1 模块简介 在数年前,Python 2.5 加入了一个非常特殊的关键字,就是with.with语句允许开发者创建上下文管理器.什么是上下文管理器?上下文管理器就是允许你可以自动地开始和结束一些事情. ...

  5. Python标准模块--Unicode

    1 模块简介 Python 3中最大的变化之一就是删除了Unicode类型.在Python 2中,有str类型和unicode类型,例如, Python 2.7.6 (default, Oct 26 ...

  6. Python标准模块--Iterators和Generators

    1 模块简介 当你开始使用Python编程时,你或许已经使用了iterators(迭代器)和generators(生成器),你当时可能并没有意识到.在本篇博文中,我们将会学习迭代器和生成器是什么.当然 ...

  7. 自己实现一个javascript事件模块

    nodejs中的事件模块 nodejs中有一个events模块,用来给别的函数对象提供绑定事件.触发事件的能力.这个别的函数的对象,我把它叫做事件宿主对象(非权威叫法),其原理是把宿主函数的原型链指向 ...

  8. 理解nodejs模块的scope

    描述 原文档地址:https://docs.npmjs.com/misc/scope 所有npm模块都有name,有的模块的name还有scope.scope的命名规则和name差不多,同样不能有ur ...

  9. nodejs模块发布及命令行程序开发

    前置技能 npm工具为nodejs提供了一个模块和管理程序模块依赖的机制,当我们希望把模块贡献出去给他人使用时,可以把我们的程序发布到npm提供的公共仓库中,为了方便模块的管理,npm规定要使用一个叫 ...

随机推荐

  1. 委托事件(jQuery)

    <div class="content"> <ul> <li>1</li> <li>2</li> <l ...

  2. Java网络编程(一)Socket套接字

    一.基础知识 1.TCP:传输控制协议. 2.UDP:用户数据报协议. 二.IP地址封装 1.InetAddress类的常用方法 getLocalHost() 返回本地主机的InetAddress对象 ...

  3. 务必收藏备用:.net core中通过Json或直接获取图形验证码(数字验证码、字母验证码、混合验证码),有源代码全实战demo(开源代码.net core3.0)

    很多人写的博客大家看了会一知半解,不知道怎么用,应该引用什么类库或者代码不全,这样很多小白很是头疼,尤其是尝新技术更是如此.我们这边不止告诉你步骤,而且还提供开源demo.随着时间的推移,我们的dem ...

  4. 【xinsir】函数库,持续更新

    1.遍历文件-node // 递归遍历目录下的文件 function readDirSync (path) { var pa = fs.readdirSync(path); pa.forEach(fu ...

  5. NOIP模拟测试25

    这次考试后面心态爆炸了...发现刚了2h的T2是假的之后就扔掉了,草率地打了个骗分 T1只会搜索和m=0 最先做的T3,主要是发现部分分很多,当时第一眼看上去有87分(眼瞎了). 后来想了想,感觉一条 ...

  6. Docker的Ubuntu16.04容器如何汉化

    最近发现docker hub中的vnc镜像大部分是没有安装语言包的,试了好多天才把他搞出来. 下面为实现步奏. 网盘软件地址 ://pan.baidu.com/share/link?shareid=3 ...

  7. 《吊打面试官》系列-Redis常见面试题(带答案)

    你知道的越多,你不知道的越多 点赞再看,养成习惯 GitHub上已经开源,有面试点思维导图,欢迎[Star]和[完善] 前言 Redis在互联网技术存储方面使用如此广泛,几乎所有的后端技术面试官都要在 ...

  8. Project Euler 55: Lychrel numbers

    五十五.吕克雷尔数(Lychrel numbers) 如果我们把\(47\)翻转过来并和其自身相加,结果是\(47+74=121\)是一个回文数.并不是所有的数都可以这么快的变成回文数,比如说: \[ ...

  9. 第5天,python之路

    已经过了两三天了,东西一点没来写,今天慢慢的写吧. 还是会按Alex Li的流程来学习,编写     写出自己的东西 常用的数据类型 简单的有,str ,int , 常用的:  列表list[], 字 ...

  10. nsq (三) 消息传输的可靠性和持久化[二]diskqueue

    上一篇主要说了一下nsq是如何保证消息被消费端成功消费,大概提了一下消息的持久化,--mem-queue-size 设置为 0,所有的消息将会存储到磁盘. 总有人说nsq的持久化问题,消除疑虑的方法就 ...