参考博客 https://zhengheng.me/2016/08/25/python-requests-socks5/…

目录 python中requests库使用方法详解 官方文档 什么是Requests 安装Requests库 基本的GET请求 带参数的GET请求 解析json 添加headers 基本POST请求 响应 response属性 高级操作 获取cookie 会话维持.模拟登陆 证书验证(SSL Cert Verification) 认证设置 代理设置 超时设置 异常处理 上传文件 带参数的GET请求->headers 带参数的GET请求->cookies 发送post请求,模拟浏览器的登录行为…

requests是一个很实用的Python HTTP客户端库,编写爬虫和测试服务器响应数据时经常会用到.可以说,Requests 完全满足如今网络的需求 本文全部来源于官方文档 http://docs.python-requests.org/en/master/ 安装方式一般采用$ pip install requests.其它安装方式参考官方文档 HTTP - requests import requests GET请求 r  = requests.get('http://httpbin.or…

在看这篇文章之前,需要大家掌握的知识技能: python基础 html基础 http状态码 让我们看看这篇文章中有哪些知识点: get方法 post方法 header参数,模拟用户 data参数,提交数据 proxies参数,使用代理 进阶学习 安装上requests库 pip install requests 先来看下帮助文档,看看requests的介绍,用python自带的help命令 import requests help(requests) output: Help on packag…

一个最简单的demo: html = requests.get('http://www.cnblogs.com/liaocheng/p/5215225.html') return html.text 这个函数也可以设置提交参数和表头,当然,也有post版本. 以下为详细: 发送请求 使用Requests发送网络请求非常简单. 一开始要导入Requests模块: >>> import requests 然后,尝试获取某个网页.本例子中,我们来获取Github的公共时间线 >>&…

问题引入: 今天在学习Python网络请求的时候,导入requests模块时一直报红色波浪线,如图: 反复折腾,一直以为自己没有安装requests模块,反复安装反复卸载: 安装方法: 首先 cd 进入C:\Python27\Scripts 执行 pip install requests 命令可以自动安装 卸载方法: 首先 cd 进入C:\Python27\Scripts 执行 pip uninstall requests 命令可以自动卸载 折腾许久后发现不是安装问题,自己的requests模块…

调用pip list可见已经成功安装了: requests 但是在运行时仍报错: userdeMacBook-Pro:xiaohui user$ python test_web.py Traceback (most recent call last): File , in <module> import requests ImportError: No module named requests 可能是因为在本地安装了多个版本的python导致的,安装了python2和python3版本,运行…

当使用这个库的时候经常会出现各种乱码的情况. 首先要知道: text返回的是处理过的unicode的数据. content返回的是bytes的原始数据 也就是说r.content比r.text更加节省资源 如果headers没有charset字符集的化,text()会调用chardet来计算字符集,这又是消耗cpu的事情 倘若在conttent-type字段中没有制定charset的时候,默认使用的是ISO-8859-1编码,在处理英文的时候是没有问题,但是在处理中文的时候就会出现乱码的情况了.…

headers.py import random first_num = random.randint(55, 62) third_num = random.randint(0, 3200) fourth_num = random.randint(0, 140) class FakeChromeUA: os_type = [ '(Windows NT 6.1; WOW64)', '(Windows NT 10.0; WOW64)', '(X11; Linux x86_64)', '(Macint…

[('system library', 'fopen', 'No such process'), ('BIO routines', 'BIO_new_file', 'no such file'), ('x509 certificate routines', 'X509_load_cert_crl_file', 'system lib')] 解决: 1) Place the below code in your main python file where "requests" modu…

对Python的request不是很了解,在使用时才发现,可以把request的请求结果,直接使用.json()['字段名']方法进行一个取值,案例如下 def test_tiantian(self): data = "type=tiantian&postid=11111111111" result = requests.get(url=self.url, params=data,headers=self.headers1 ) print(result.url) print(r…

requests对象的get和post方法都会返回一个Response对象,这个对象里面存的是服务器返回的所有信息,包括响应头,响应状态码等.其中返回的网页部分会存在.content和.text两个对象中. 两者区别在于,content中间存的是字节码,而text中存的是Beautifulsoup根据猜测的编码方式将content内容编码成字符串. 直接输出content,会发现前面存在b'这样的标志,这是字节字符串的标志,而text是,没有前面的b,对于纯ascii码,这两个可以说一模一样,对…

requests原生支持 import requests from requests.adapters import HTTPAdapter s = requests.Session() # 重试次数为3 s.mount('http://', HTTPAdapter(max_retries=3)) s.mount('https://', HTTPAdapter(max_retries=3)) # 超时时间为5s s.get('http://example.com', timeout=5) req…

在进行接口测试的时候,我们会调用多个接口发出多个请求,在这些请求中有时候需要保持一些共用的数据,例如cookies信息. 1.requests库的session对象能够帮我们跨请求保持某些参数,也会在同一个session实例发出的所有请求之间保持cookies. s = requests.session()# req_param = '{"belongId": "300001312","userName": "alitestss003&…

#发送无参数的get请求import requests def get_html(url): res = requests.get(url) return res.text #发送无参数的post请求 import requests def get_html(url): res = requests.post(url) return res.text…

记录下 以前: import socket import socks from requests_html import HTMLSession session=HTMLSession() socks.set_default_proxy(socks.SOCKS5, "127.0.0.1", 1080) socket.socket = socks.socksocket url = "https://www.google.co.jp" print(session.get…

主要有以下四种: 1.Requests抛出一个ConnectionError异常,原因为网络问题(如DNS查询失败.拒接连接等错误) 2.Response.raise_for_status()抛出一个HTTPError异常,原因为HTTP请求返回不成功的状态码(如网页不存在.404错误等) 3.Requests抛出一个Timeout异常,原因为请求超时 4.Requests抛出一个TooManyRedirects异常,原因为请求超过了设定的最大重定向次数…

增加下面的就ok了from requests.packages.urllib3.exceptions import InsecureRequestWarningrequests.packages.urllib3.disable_warnings(InsecureRequestWarning)…

一般来说,params 在 get 请求中使用,data 在 post 请求中使用…

起因是想爬五等分的花嫁的漫画.这是其中的一个坑 先上代码 data={ 'cid':567464, , 'key':'', 'language':1, 'gtk':6, '_cid':567464, '_mid':34949, '_dt':'2019-05-03 13:03:08', '_sign':'e74c8c52618a64a454dd7f12aff3cc1c' }def getFun(url,data): ret=requests.get(url,params=data) print(r…

原文:SOCKS代理:从***到内网漫游 本文原创作者:tahf,本文属FreeBuf原创奖励计划,未经许可禁止转载 之前在Freebuf上学习过很多大牛写的关于Tunnel.SOCKS代理.***等文章,很受启发.作为一个小白,近期心血来潮,搜集并测试了一些Windows平台下的SOCKS代理工具,下面我想用自己简单搭建的一套模拟环境来展示SOCKS代理在内网漫游时的使用姿势并推荐几款Windows平台下实用的SOCKS代理工具.花了不少时间在制图上^0^. 0×00 引言 很久很久以前,突然…

Okhttp的使用没有httpClient广泛,网上关于Okhttp设置代理的方法很少,这篇文章完整介绍了需要注意的方方面面. 上一篇博客中介绍了socks代理的入口是创建java.net.Socket时传入一个java.net.Porxy对象. OkHttp client通过OkHttpClient.Builder创建,可以通过定制javax.net.ssl.SSLSocketFactory和java.net.SocketFactory来实现socks代理. 定制SocketFactory J…

引入进程和线程的概念及区别 threading模块提供的类:   Thread, Lock, Rlock, Condition, [Bounded]Semaphore, Event, Timer, local. 1.什么是进程 计算机程序只不过是磁盘中可执行的二进制(或其他类型)的数据.它们只有在被读取到内存中,被操作系统调用的时候才开始它们的生命期. 进程(有时被称为重量级进程)是程序的一次执行.每个进程都有自己的地址空间.内存.数据栈及其它记录其运行轨迹的辅助数据. 操作系统管理在其上运行的…

一,概念 在传统操作系统中,每个进程有一个地址空间,而且默认就有一个控制线程 线程顾名思义,就是一条流水线工作的过程,一条流水线必须属于一个车间,一个车间的工作过程是一个进程 --车间负责把资源整合到一起,是一个资源单位,而一个车间内至少有一个流水线 --流水线的工作需要电源,电源就相当于cpu 所以,进程只是用来把资源集中到一起(进程只是一个资源单位,或者说资源集合),而线程才是cpu上的执行单位. 多线程(即多个控制线程)的概念是,在一个进程中存在多个控制线程,多个控制线程共享该进程的地址空…

0×01 引言 在实际渗透过程中,我们成功入侵了目标服务器.接着我们想在本机上通过浏览器或者其他客户端软件访问目标机器内部网络中所开放的端口,比如内网的3389端口.内网网站8080端口等等.传统的方法是利用nc.lcx等工具,进行端口转发. 适用端口转发的网络环境有以下几种: 1. 服务器处于内网,可以访问外部网络. 2. 服务器处于外网,可以访问外部网络,但是服务器安装了防火墙来拒绝敏感端口的连接. 3. 服务器处于内网,对外只开放了80端口,并且服务器不能访问外网网络. 对于以上三种情况,…

安装Privoxy 打开终端安装privoxy来实现这里我是通过brew来进行的安装 brew install privoxy 看到这行已经安装成功 ==> Caveats To have launchd start privoxy at login: ln -sfv /usr/local/opt/privoxy/*.plist ~/Library/LaunchAgents Then to load privoxy now: launchctl load ~/Library/LaunchAgen…

用过Python的码友都知道,Python中List支持多种数据类型,如下面代码所示链表li内的数据类型可以是整数,同时也可以是字符串,当然也可以是其他数据类型. 1: >>> li = [1,2.5,"hello world"] 2: >>> li 3: [1, 2.5, 'hello world'] 4: >>> 对于一个C++爱好者来说,不由得想C++中是不是也有类似的容器或者方法来实现一个链表内可以支持多种数据类型呢?答案是…

一.全局解释器锁(GIL) 1.什么是全局解释器锁 在同一个进程中只要有一个线程获取了全局解释器(cpu)的使用权限,那么其他的线程就必须等待该线程的全局解释器(cpu)使用权消失后才能使用全局解释器(cpu),即时多个线程直接不会相互影响在同一个进程下也只有一个线程使用cpu,这样的机制称为全局解释器锁(GIL). 2.全局解释器锁的好处 1.避免了大量的加锁解锁的好处 2.使数据更加安全,解决多线程间的数据完整性和状态同步 3.全局解释器的缺点 多核处理器退化成单核处理器,只能并发不能并行.…

高级变量类型 目标 列表 元组 字典 字符串 公共方法 变量高级 知识点回顾 Python 中数据类型可以分为 数字型 和 非数字型 数字型 整型 (int) 浮点型(float) 布尔型(bool) 真 True 非 0 数 —— 非零即真 假 False 0 复数型 (complex) 主要用于科学计算,例如:平面场问题.波动问题.电感电容等问题 非数字型 字符串 列表 元组 字典 在 Python 中,所有 非数字型变量 都支持以下特点: 都是一个 序列 sequence,也可以理解为 容…

一.全局解释器锁(GIL) 1.什么是全局解释器锁 在同一个进程中只要有一个线程获取了全局解释器(cpu)的使用权限,那么其他的线程就必须等待该线程的全局解释器(cpu)使 用权消失后才能使用全局解释器(cpu),即时多个线程直接不会相互影响在同一个进程下也只有一个线程使用cpu,这样的机制称为全局 解释器锁(GIL). 2.全局解释器锁的好处 1.避免了大量的加锁解锁的好处 2.使数据更加安全,解决多线程间的数据完整性和状态同步 3.全局解释器的缺点 多核处理器退化成单核处理器,只能并发不能并…