Python使用request包请求网页乱码解决方法

使用requests请求网页时，返回的页面信息有时是乱码，如下代码

headers = {

    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'

}

def get_all(url,key):

    params = {

        'keyword':key,

        'enc':'utf-8'

    }

    response = requests.get(url=url,params=params,headers=headers)

    with open('jd.html','w',encoding='utf-8') as f:

        f.write(response.text)

if __name__ == '__main__':

    key = input('输入搜索内容：')

    url = 'https://search.jd.com/Search?'

    get_all(url,key)

返回的部分内容；

<div class="p-name p-name-type-2">

            <a target="_blank" title="æå°ä¼ è¯´çè¢Tæ¤ç·å¤å£é©çæ½®æµçè¢ç·å£«åè¢tæ¤åé¢ä¼é²ä¿®èº«å¤§ç äºåè¢æ½®çéå¹´å¦çtæ¤è¡£æç·è£ 430é»è² M" href="//item.jd.com/51029271063.html" onclick="searchlog(1,51029271063,8,1,'','flagsClk=1077936264')">

                <em>æå°ä¼ è¯´çè¢Tæ¤<font class="skcolor_ljg">ç·</font>å¤å£é©çæ½®æµçè¢ç·å£«åè¢tæ¤åé¢ä¼é²ä¿®èº«å¤§ç äºåè¢æ½®çéå¹´å¦çtæ¤è¡£æ<font class="skcolor_ljg">ç·è£</font> 430é»è² M</em>

                <i class="promo-words" id="J_AD_51029271063"></i>

            </a>

        </div>

解决方法和思路过程；

代码；

def get_all(url,key):

    params = {

        'keyword':key,

        'enc':'utf-8'

    }

    response = requests.get(url=url,params=params,headers=headers)

    # 打印出所请求页面返回的编码方式

    print(response.encoding)

    # response.apparent_encoding是通过内容分析出的编码方式，这里是urf-8

    print(response.apparent_encoding)

    # 转码

    content = response.text.encode(response.encoding).decode(response.apparent_encoding)

    print(content)

    with open('jd.html','w',encoding='utf-8') as f:

        f.write(content)

if __name__ == '__main__':

    key = input('输入搜索内容：')

    url = 'https://search.jd.com/Search?'

    get_all(url,key)

控制台输出（部分）；

E:\anaconda\python.exe E:/练习/最后阶段/0808/jd.py

输入搜索内容：男装

ISO-8859-1

utf-8

<!DOCTYPE html>

<html>

<head>

<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />

<meta http-equiv="X-UA-Compatible" content="IE=edge">

<meta name="renderer" content="webkit">

<meta http-equiv="Cache-Control" content="max-age=300" />

<link rel="dns-prefetch" href="//search.jd.com" /><link rel="dns-prefetch" href="//item.jd.com" /><link rel="dns-prefetch" href="//list.jd.com" /><link rel="dns-prefetch" href="//p.3.cn" /><link rel="dns-prefetch" href="//misc.360buyimg.com" /><link rel="dns-prefetch" href="//nfa.jd.com" /><link rel="dns-prefetch" href="//d.jd.com" /><link rel="dns-prefetch" href="//img12.360buyimg.com" /><link rel="dns-prefetch" href="//img13.360buyimg.com" /><link rel="dns-prefetch" href="//static.360buyimg.com" /><link rel="dns-prefetch" href="//csc.jd.com" /><link rel="dns-prefetch" href="//mercury.jd.com" /><link rel="dns-prefetch" href="//x.jd.com" /><link rel="dns-prefetch" href="//wl.jd.com" /><title>男装 - 商品搜索 - 京东</title><meta name="Keywords" content="男装,京东男装" /><meta name="description" content="在京东找到了260867件男装的类似商品，其中包含了“男装”等类型的男装的商品。" /><script>

window.loadFa_toJson_data={query:'%E7%94%B7%E8%A3%85'};

window.jdpts={};jdpts._st=new Date().getTime();window.pageConfig={

    closeJpg : 1,

    compatible: false,

    searchType: 0,

    jdfVersion: '2.0.0',

    floatnav: 1,

    price_pdos_off: 0,

    actName: '',

    pSource: 'search_pc',

    queryParam: {

        c1: 0,

        c2: 1342,

        c3: 0,

        brand: '',

        price: '',

        keyword: '男装',

        page: ''

    }

};

window.searchUnit={

    resizeOnebox: function(g,f,j){var g=parseInt(g),i=typeof f,h=typeof j;if(!isNaN(g)){if("string"==i&&f!=""&&g>0){$("#J_oneBoxFrame_"+f).css("height",g+10);h=="function"&&j()}else{if(i=="undefined"||i=="function"){$("#virtualWareIFrame").css("height",g>0?g+10:0);i=="function"&&f()}}}},

    resizeShopbox: function(e,d){var f=0;switch(e){case 1:case 2:f=145;break;case 3:f=75;break;case 4:f=80;break;default:break}f&&$("#shopboxIFrame").css("height",f).show();typeof(d)=="string"&&(new Image().src=d)},

    coupon: {}};

window.QUERY_KEYWORD='男装';

window.REAL_KEYWORD='男装';

</script>

<link type="text/css" rel="stylesheet" href="//misc.360buyimg.com/??jdf/1.0.0/unit/ui-base/5.0.0/ui-base.css,jdf/1.0.0/unit/shortcut/5.0.0/shortcut.css,jdf/1.0.0/unit/global-header/5.0.0/global-header.css,jdf/1.0.0/unit/myjd/5.0.0/myjd.css,jdf/1.0.0/unit/nav/5.0.0/nav.css,jdf/1.0.0/unit/shoppingcart/5.0.0/shoppingcart.css,jdf/1.0.0/unit/global-footer/5.0.0/global-footer.css,jdf/1.0.0/unit/service/5.0.0/service.css,jdf/1.0.0/unit/global-header-photo/5.0.0/global-header-photo.css,jdf/1.0.0/ui/area/1.0.0/area.css" />

<link type="text/css" rel="stylesheet" href="//misc.360buyimg.com/product/search/1.0.7/css/search.css" />

<script type="text/javascript" src="//misc.360buyimg.com/??jdf/1.0.0/unit/base/5.0.0/base.js,jdf/lib/jquery-1.6.4.js,product/module/es5-shim.js"></script>

<script>

window.SEARCH = {

    cid: 1349,

    ui_ver: '1.0.7',

    c_category: 1342,

    p_category: 0,

    enable_adv: 1,

    enable_prom_adwords: 1,

    enable_prom_flag: 1,

    enable_price: 1,

    enable_stock: 2,

    enable_yyk: 0,

    lottery_code: '',

    is_correct_hash: function(e){var a=["keyword","brand_id","activity_id","coupon_batch","ecard_id"];for(var c=0,b=a.length;c<b;c++){var d=new RegExp("(^|\\?|&)"+a[c]+"=([^&]*)(\\s|&|$)");if(d.test(e)){return true}}return false},

    get_real_hash: function(){var a=window.location.hash.substr(1);if(a&&$.browser.mozilla){return location.href.substr(location.href.indexOf("#")+1)}else{return a}}

};

(function(a,b){var c=b.get_real_hash();if(b.is_correct_hash(c)){a.location.href=a.location.pathname+"?"+c;return false}else{if(a.self!=a.top||$.browser.msie&&$.browser.version<=9){var f=null,e=function(){var d=$(a).width();return 1210>d?$("html").removeClass():$("html").removeClass().addClass(d>=1210&&1390>d?"resp01":"resp02"),true};e();$(a).resize(function(){clearTimeout(f),f=setTimeout(e,20)})}}})(window,SEARCH);

</script>

</head>

<body>

<!--shortcut start-->

<div id="shortcut-2014">

    <div class="w">

        <ul class="fl">

            <li id="ttbar-home"><i class="iconfont">&#xe608;</i><a href="//www.jd.com/" target="_blank">京东首页</a></li>

            <li class="dorpdown" id="ttbar-mycity"></li>

        </ul>

补充，方法二；

response = requests.get(url=url, headers=headers)

    etrees = etree.HTML(response.content.decode("gb18030"))

done。

Python使用request包请求网页乱码解决方法的更多相关文章

get、post请求参数乱码解决方法（qq:1324981084）
java高级架构师全套vip教学视频,需要的加我qq1324981084 在实际的项目中我们会遇见中文乱码的问题,这个问题是很恶心的事,所以我在这里提供了一些解决中文乱码的方法,希望能给大家一些帮助. ...
html乱码原因与网页乱码解决方法
造成html网页乱码原因主要是html源代码内中文字内容与html编码不同造成.但无论是哪种情况造成乱码在网页开始时候都需要设置网页编码. charset编码设置 html网页乱码效果截图一.乱码造 ...
Python: 安装 sklearn 包出现错误的解决方法
今天在安装 Python 的 sklearn 包时出现了 Cannot uninstall 'numpy' 和 Cannot uninstall 'scipy' 错误,下面记录了我尝试了很多网上的方法 ...
【知识积累】爬虫之网页乱码解决方法(gb2312 -> utf-8)
前言今天在测试爬虫项目时,发现了一个很严肃的问题,当爬取的网页编码格式为gb2312时,按照一般的办法转化为utf-8编码时总是乱码,PS:爬取的所有网页无论何种编码格式,都转化为utf-8格式进行 ...
python tcp黏包和struct模块解决方法,大文件传输方法及MD5校验
一.TCP协议粘包现象和解决方案黏包现象让我们基于tcp先制作一个远程执行命令的程序(命令ls -l ; lllllll ; pwd)执行远程命令的模块需要用到模块subprocess sub ...
QT编写的网页浏览器网页乱码解决方法
1.如果是本地网页,可以将网页编码改为GB2312 <meta http-equiv="Content-Type" content="text/html; char ...
Ajax跨域请求以及乱码解决
Ajax跨域请求2种解决方法 1 ) 什么叫跨域请求,协议,域名,端口号,其中一样不同都称跨域; 第一种:使用script标签发送请求; //创建一个script标签; var v_element=d ...
使用httpclient post请求中文乱码解决办法
使用httpclient post请求中文乱码解决办法在使用httpclient发送post请求的时候,接收端中文乱码问题解决. 正文: 我们都知道,一般情况下使用post请求是不会出现中文乱码 ...
ueditor的工具栏显示乱码解决方法小问题.. 是你的页面编码与语言包js编码不符所导致的
ueditor的工具栏显示乱码解决方法小问题.. 是你的页面编码与语言包js编码不符所导致的解决方法:用记事本将ueditor\..\lang\zh-cn\zh-cn.js打开,然后保存为ANSI ...

随机推荐

【python基础】easydict的安装与使用
前言 easydict允许以属性的方式访问dict类型,且可以递归地访问,使用起来比较方便. 安装 pip install easydict 使用参考 1. easydict; 完
python：将时间戳格式化为yyyyMMdd hh:mm:ss
import time #将10位时间戳或者13位转换为时间字符串,默认为2017-10-01 13:37:04格式 def timestamp_to_date(time_stamp, format_ ...
Linux下使用matlab在后台默默的运行.m文件（无界面形式）
Linux下使用matlab在后台默默的运行.m文件(无界面形式)本主在Ubuntu18.04LTS上已经安装了matlab直接运行Matlab$ matlab会启动 matlab,出现启动界面但想要 ...
JAVA 8 的新特性
Java8的新特性有:默认方法.函数式接口.lambda表达式.方法引用.Stream.Optional.日期API. 一.默认方法: 接口中的方法可以有方法体,但是必须要有static或者defau ...
Centos7下RabbitMQ的安装与配置
具体按照步骤以此为准第一步:安装最新版的erlang依赖通过github设置版本号:https://github.com/rabbitmq/erlang-rpm vi /etc/yum.repos ...
Vue框架（一）——Vue导读、Vue实例（挂载点el、数据data、过滤器filters）、Vue指令(文本指令v-text、事件指令v-on、属性指令v-bind、表单指令v-model)
Vue导读 1.Vue框架 vue是可以独立完成前后端分离式web项目的js框架三大主流框架之一:Angular.React.Vue vue:结合其他框架优点.轻量级.中文API.数据驱动.双向绑定 ...
Python-记事本
1.文本颜色格式:\[显示方式;前景色;背景色m要打印的字符串\[0m 2.format 格式 print('{}的三次方为{:*^20}'.format(a,pow(a, 3))) print(& ...
go ---变量数据结构调试利器 go-spew
我们在使用Golang(Go语言)开发的过程中,会通过经常通过调试的方式查找问题的原因,解决问题,尤其是当遇到一个很棘手的问题的时候,就需要知道一段代码在执行的过程中,其上下文的变量对应的数据,以便进 ...
使用 kill 命令杀死 java进程，你用对了吗？
在本地调试agent相关功能,需要经常性的杀掉Java进程,验证一些极端情况. 每次都是本能执行如下步骤 jps kill -9 <pid> reboot 有一次验证,发现代码中添加的Sh ...
《JAVA高并发编程详解》-七种单例模式

Python使用request包请求网页乱码解决方法

Python使用request包请求网页乱码解决方法的更多相关文章

随机推荐

热门专题