遇到的问题是：爬取网页得到的结果如下（部分）  里面的中文出现乱码。

　　

<!DOCTYPE html>

<html lang='zh-CN'>

<head>

<meta charset='gb2312'>

<meta content='IE=edge' http-equiv='X-UA-Compatible'>

<title>2017Äê11ÔÂ10ÈÕÃâ·Ñ´úÀíip µÚ1Ò³</title>

<meta name="keywords" content="´úÀíip£¬´úÀíip¼ì²â£¬´úÀíipÑéÖ¤£¬¿ÉÓôúÀíip£¬×îдúÀíip£¬½ñÈÕ¿ÉÓôúÀíip£¬Ãâ·Ñ´úÀíip">

<meta name="description" content="ip181ÊÇÒ»¼ÒרΪ´úÀíipʹÓÃÕß´òÔìµÄ´úÀíip¼ì²âƽ̨£¬ÕâÀï²»½öÌṩרҵµÄ´úÀíipÑéÖ¤·þÎñ£¬»¹ÎªÄúÌṩ×îеÄÃâ·Ñ´
úÀíip£¬ÊµÊ±¸üдúÀíip¡£">

<link href="/ip181.css" media="all" rel="stylesheet" />

</head>

<body>

<style>

.gx{

    font-size:14px;color:#666666;margin-left:10px;font-weight:100;

这是

print response.encoding   

输出结果是   ISO-8859-1

使用的方法是
print response.text.encode('ISO-8859-1').decode(requests.utils.get_encodings_from_content(response.text)[0])

结果：

<!DOCTYPE html>

<html lang='zh-CN'>

<head>

<meta charset='gb2312'>

<meta content='IE=edge' http-equiv='X-UA-Compatible'>

<title>2017年11月10日免费代理ip 第1页</title>

<meta name="keywords" content="代理ip，代理ip检测，代理ip验证，可用代理ip，最新代理ip，今日可用代理ip，免费代理ip">

<meta name="description" content="ip181是一家专为代理ip使用者打造的代理ip检测平台，这里不仅提供专业的代理ip验证服务，还为您提供最新的免费代理ip，实时更新代理ip。">

<link href="/ip181.css" media="all" rel="stylesheet" />

</head>

<body>

<style>
												


											
Python 爬虫编码格式问题   gb2312转换utf8的更多相关文章
	

    
								
  1. python 爬虫数据处理字符串时间转换格式方法
		
    startDate = "2018-10-01"endDate = "2018-10-31" ###字符转化为日期startTime = datetime.da ...
    
		
    2. 
						
  2. Python爬虫 小白[3天]入门笔记
		
    笔记来源 Day-0 1.如果你还不了解Python的基础语法,可以移步|>>>Python 基础 小白 [7天] 入门笔记<<<|或自行学习. 简介 1.什么是爬 ...
    
		
    3. 
						
  3. Python爬虫——用BeautifulSoup、python-docx爬取廖雪峰大大的教程为word文档
		
    版权声明:本文为博主原创文章,欢迎转载,并请注明出处.联系方式:460356155@qq.com 廖雪峰大大贡献的教程写的不错,写了个爬虫把教程保存为word文件,供大家方便下载学习:http://p ...
    
		
    4. 
						
  4. python爬虫对于gb2312
		
    对于刚刚接触python爬虫的人,常常会碰到一个比较烦的问题, 如果网页是GB2312编码格式,我们直接decode(’GB2312‘)一般python都会报错: GB2312不能编码该页面. 这就比 ...
    
		
    5. 
						
  5. C# 编码转换 UTF8转GB2312 GB2312转UTF8
		
    /// <summary> /// GB2312转换成UTF8 /// </summary> /// <param name="text">&l ...
    
		
    6. 
						
  6. GB2312转换成UTF-8与utf_8转换成GB2312
		
    本文转载:http://www.cnblogs.com/jonhson/archive/2010/08/10/1796536.html /// <summary> /// utf_8转换成 ...
    
		
    7. 
						
  7. 【miscellaneous】编码格式简介（ANSI、GBK、GB2312、UTF-8、GB18030和 UNICODE）
		
    转发:http://blog.jobbole.com/30526/ 来源:潜行者m 的博客 编码一直是让新手头疼的问题,特别是 GBK.GB2312.UTF-8 这三个比较常见的网页编码的区别,更是让 ...
    
		
    8. 
						
  8. python爬虫的页面数据解析和提取/xpath/bs4/jsonpath/正则(2)
		
    上半部分内容链接 : https://www.cnblogs.com/lowmanisbusy/p/9069330.html 四.json和jsonpath的使用 JSON(JavaScript Ob ...
    
		
    9. 
						
  9. Python爬虫之urllib模块1
		
    Python爬虫之urllib模块1 本文来自网友投稿.作者PG,一个待毕业待就业二流大学生.玄魂工作室未对该文章内容做任何改变. 因为本人一直对推理悬疑比较感兴趣,所以这次爬取的网站也是平时看一些悬 ...
    
		
    10. 
		

	


随机推荐
	

    
									
  1. uni-app - 支付（app支付、小程序支付、h5（微信端）支付）
			
    App支付.小程序支付.h5(微信端)支付 APP支付(内置) appPay.js /** * 5+App支付,仅支持支付宝以及微信支付 * * 支付宝Sdk集成,微信sdk未集成 * * @para ...
    
			
    2. 
						
  2. VMware Lab setup - A virtualized lab for testing HA and DRS
			
    https://www.simple-talk.com/sysadmin/virtualization/vmware-lab-setup---a-virtualized-lab-for-testing ...
    
			
    3. 
						
  3. HDOJ 5288 OO’s Sequence 水
			
    预处理出每一个数字的左右两边能够整除它的近期的数的位置 OO's Sequence Time Limit: 4000/2000 MS (Java/Others)    Memory Limit: 13 ...
    
			
    4. 
						
  4. 西数移动固态SSD
			
    好款推荐! 我可没有收广告费:哈哈哈 就是看着产品不错,喜欢小米! 西数出了SSD移动固态硬盘真心不错!     文章来源:刘俊涛的博客 欢迎关注,有问题一起学习欢迎留言.评论
    
			
    5. 
						
  5. IE浏览器兼容方案
			
    1.使用高版本渲染模式 <meta http-equiv=”X-UA-Compatible” content=”IE=edge,chrome=1″/> 2.css hack (1)条件注释 ...
    
			
    6. 
						
  6. 操作系统动态内存管理——malloc和free的工作机制
			
    动态内存分配 就 是指在程序执行的过程中动态地分配或者回收存储空间的分配内存的方法. malloc()是C语言中动态存储管理 的一组标准库函数之一.其作用是在内存的动态存储区中分配一个长度为size的 ...
    
			
    7. 
						
  7. JavaWeb应用项目中文乱码的解决
			
     转载请注明原文地址:http://www.cnblogs.com/ygj0930/p/6383542.html 在把web项目成功部署到云主机后,通过浏览器成功地访问到了你的网站,却发现页面里本该由 ...
    
			
    8. 
						
  8. Java的一个关于“星球”的枚举
			
    public enum Planet { /** * 水星 */ MERCURY(3.302e+23, 2.439e6), /** * 金星 */ VENUS(4.869e+24, 6.052e6), ...
    
			
    9. 
						
  9. 11、java5线程池之异步任务CompletionService
			
    JDK文档描述: public interface CompletionService<V> 将生产新的异步任务与使用已完成任务的结果分离开来的服务.生产者 submit 执行的任务.使用 ...
    
			
    10. 
						
  10. Java 三大主流 工作流 学习
			
    之前听同学说,他们在用工作流,好奇,搜索了一下,查看和搜集了一番,摘抄入下:(来源于:gzRiven) 三大主流工作流引擎:Shark,osworkflow,jbpm! Shark的靠山是Enhydr ...
    
			
    11.