本章学习内容：
1、网页编码还原读取
2、功能设计

stuep1:网页编码还原读取
本次抓取对象：
http://www.cuiweijuxs.com/jingpinxiaoshuo/

按照第一篇的代码来进行抓取：
# -*- coding: UTF-8 -*-

from urllib import request

if __name__ == "__main__":

    chaper_url = "http://www.cuiweijuxs.com/jingpinxiaoshuo/"

    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0'}

    req = request.Request(url=chaper_url, headers=headers)

    response = request.urlopen(req)

    html = response.read()

    print(html)

　　打印出

b'<!doctype html>\r\n<html>\r\n<head>\r\n<title>\xbe\xab\xc6\xb7\xd0\xa1\xcb\xb5_………………

这样的内容，这个是编码格式的问题，在zipfile解压乱码的文章中已经说过了，所以需要先看下这个html网页的头部，看到编码格式是gbk

具体看http://www.cnblogs.com/yaoshen/p/8671344.html

另外一种程序检测方法是使用chardet（非原生库，需要安装），

charset = chardet.detect(html)
print(charset)
检测内容：{'encoding': 'GB2312', 'confidence': 0.99, 'language': 'Chinese'}

如果使用GB2312来解码是有问题的，尝试过后发现还是gbk比较有效，包含字符多一点

改写代码如下：

    html = html.decode('GBK')

    #except:

    #    html = html.decode('utf-8')

    print(html)

完整代码如下：

# -*- coding: UTF-8 -*-

from urllib import request

import chardet

if __name__ == "__main__":

    chaper_url = "http://www.cuiweijuxs.com/jingpinxiaoshuo/"

    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0'}

    req = request.Request(url=chaper_url, headers=headers)

    response = request.urlopen(req)

    html = response.read()

    print(html)

    # 查看网页编码格式

    charset = chardet.detect(html)

    print(charset)

    # 查看网页内容

    #try:

    html = html.decode('GBK')

    #except:

    #    html = html.decode('utf-8')

    print(html)

stuep2：基础功能设计

建立class：Capture，定义初始化（__init__）、读取（readHtml）、保存（saveHtml）等基础功能函数，然后创建一个run函数来集成运行功能，
最后使用Capture().run()来运行
（1） __init__方法（双下划线），初始化参数
    def __init__(self):

        # 定义抓取网址

        self.init_url = 'http://www.cuiweijuxs.com/jingpinxiaoshuo/'

        # 定义headers

        self.head = {

            'User-Agent': 'Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166  Safari/535.19'}

　（2）将读取网页包装为一个方法，并返回解析后等html对象

    def readHtml(self):

        # 以CSDN为例，CSDN不更改User Agent是无法访问的

        # 创建Request对象

        print(self.init_url)

        req = request.Request(self.init_url, headers=self.head)

        # 传入创建好的Request对象

        response = request.urlopen(req)

        # 读取响应信息并解码

        html = response.read().decode('GBK')

        # 打印信息

        print(html)

        return html

（3）将读取的网页以utf-8的方式写入到文件中

    def saveHtml(self, file_name, file_content):

        file_object = open(file_name, 'w', encoding='utf-8')

        file_object.write(file_content)

        file_object.close()

（4）调用run方法，读取网页，再保存

    def run(self):

        try:

            html = self.readHtml()

            self.saveHtml('test.html', html)

        except BaseException as error:

            print(error)

Capture().run()

完整代码如下：

 # -*- coding: UTF-8 -*-

 from urllib import request

 class Capture:

     def __init__(self):

         # 定义抓取网址

         self.init_url = 'http://www.cuiweijuxs.com/jingpinxiaoshuo/'

         # 定义headers

         self.head = {

             'User-Agent': 'Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166  Safari/535.19'}

     def readHtml(self):

         # 以CSDN为例，CSDN不更改User Agent是无法访问的

         # 创建Request对象

         print(self.init_url)

         req = request.Request(self.init_url, headers=self.head)

         # 传入创建好的Request对象

         response = request.urlopen(req)

         # 读取响应信息并解码

         html = response.read().decode('GBK')

         # 打印信息

         print(html)

         return html

     def saveHtml(self, file_name, file_content):

         file_object = open(file_name, 'w', encoding='utf-8')

         file_object.write(file_content)

         file_object.close()

     def run(self):

         try:

             html = self.readHtml()

             self.saveHtml('test.html', html)

         except BaseException as error:

             print(error)

 Capture().run()
												


											
python3+beautifulSoup4.6抓取某网站小说（二）基础功能设计的更多相关文章
	

    
						
  1. python3+beautifulSoup4.6抓取某网站小说（四）多线程抓取
		
    上一篇多文章,是二级目录,根目录"小说",二级目录"作品名称",之后就是小说文件. 本篇改造了部分代码,将目录设置为根目录->作者目录->作品目录- ...
    
		
    2. 
						
  2. python3+beautifulSoup4.6抓取某网站小说（三）网页分析，BeautifulSoup解析
		
    本章学习内容:将网站上的小说都爬下来,存储到本地. 目标网站:www.cuiweijuxs.com 分析页面,发现一共4步:从主页进入分版打开分页列表.打开分页下所有链接.打开作品页面.打开单章内容. ...
    
		
    3. 
						
  3. python3+beautifulSoup4.6抓取某网站小说（一）爬虫初探
		
    本次学习重点: 1.使用urllib的request进行网页请求,获取当前url整版网页内容 2.对于多级抓取,先想好抓取思路,再动手 3.BeautifulSoup获取html网页中的指定内容 4. ...
    
		
    4. 
								
  4. Python3.x+Fiddler抓取APP数据
		
    随着移动互联网的市场份额逐步扩大,手机APP已经占据我们的生活,以往的数据分析都借助于爬虫爬取网页数据进行分析,但是新兴的产品有的只有APP,并没有网页端这对于想要提取数据的我们就遇到了些问题,本章以 ...
    
		
    5. 
						
  5. Python3.x：抓取百事糗科段子
		
    Python3.x:抓取百事糗科段子 实现代码: #Python3.6 获取糗事百科的段子 import urllib.request #导入各类要用到的包 import urllib import  ...
    
		
    6. 
						
  6. Python多进程方式抓取基金网站内容的方法分析
		
    因为进程也不是越多越好,我们计划分3个进程执行.意思就是 :把总共要抓取的28页分成三部分. 怎么分呢? # 初始range r = range(1,29) # 步长 step = 10 myList ...
    
		
    7. 
						
  7. 使用BurpSuite抓取HTTPS网站的数据包
		
    昨天面试,技术官问到了我如何使用BurpSuite抓取https网站的数据包,一时间没能回答上来(尴尬!).因为以前https网站的数据包我都是用Fiddler抓取的,Fiddlert自动帮我们配置好 ...
    
		
    8. 
						
  8. Python3利用BeautifulSoup4批量抓取站点图片的代码
		
    边学边写代码,记录下来.这段代码用于批量抓取主站下所有子网页中符合特定尺寸要求的的图片文件,支持中断. 原理很简单:使用BeautifulSoup4分析网页,获取网页<a/>和<im ...
    
		
    9. 
						
  9. 用python抓取求职网站信息
		
    本次抓取的是智联招聘网站搜索“数据分析师”之后的信息. python版本: python3.5. 我用的主要package是 Beautifulsoup + Requests+csv 另外,我将招聘内 ...
    
		
    10. 
		

	


随机推荐
	

    
									
  1. P3398 仓鼠找sugar 又一次血的教训
			
    做什么题都要注意数组的大小,不要犯下数组越界的错误(温馨(狠心)提示): 做了好多遍就是不对,原来是[20]的数组,在for下循环1——>20,神奇爆零: 链接:https://www.luog ...
    
			
    2. 
						
  2. ubuntu 12.04上安装QQ2013(转载)
			
    转自:http://www.cnblogs.com/wocn/p/linux_ubuntu_QQ_install.html 环境介绍: OS:Ubuntu12.04 64bit QQ:WineQQ20 ...
    
			
    3. 
						
  3. 5位ID生成方案
			
    最近在某微信技术群,有人问到如何生成5位唯一数字+字母字符串的算法,要保证生成的字符串唯一,且字符串内部也要唯一. 怎么样,这个需求是不是很简单,也有点特殊呢?简单是指需求简单,特殊是指,字符串长度要 ...
    
			
    4. 
						
  4. java多线程模拟龟兔赛跑
			
    让乌龟和兔子在同一个赛道从1开始跑到100,看看谁更快. public class Racer implements Runnable{ private static String winner;// ...
    
			
    5. 
						
  5. 版本管理工具  Git
			
    Git是目前世界上最先进的分布式版本控制系统(没有之一). 文章参考来源: https://www.liaoxuefeng.com/wiki/0013739516305929606dd18361248 ...
    
			
    6. 
						
  6. python优缺点分析及python种类
			
    Python的缺点: 相较于其它类型的语言可能运行速度上会略差.C语言的运行性能速度上最好,因为C最接近计算机底层. Python的优点: 大数据处理,有专门的功能模块,比较方便. Linux自带Py ...
    
			
    7. 
						
  7. iOS判断输入的字符串是否是纯数字
			
    主要用于判断输入到TextField的内容是不是数字,比如需要输入电话号码的时候. 网上查看了一些资料,一般都是通过协议. 以下内容来自:http://www.2cto.com/kf/201404/2 ...
    
			
    8. 
						
  8. 转 ORACLE-016：ora-01720 授权选项对于'xxxx'不存在
			
    报错的情形如下, A用户:视图V_A B用户:视图V_B,并且用到了V_A C用户:需要用V_B, 授权过程, A用户下: grant select on V_A to B B用户下: grant s ...
    
			
    9. 
						
  9. 给ambari集群里的kafka安装基于web的kafka管理工具Kafka-manager（图文详解）
			
    不多说,直接上干货! 参考博客 基于Web的Kafka管理器工具之Kafka-manager的编译部署详细安装 (支持kafka0.8.0.9和0.10以后版本)(图文详解)(默认端口或任意自定义端口 ...
    
			
    10. 
						
  10. [转]F# Samples 101 - Visual Studio 2010
			
    http://code.msdn.microsoft.com/F-Samples-101-0576cb9f/sourcecode?fileId=18956&pathId=1045958806  ...
    
			
    11.