本章学习内容：
1、网页编码还原读取
2、功能设计

stuep1:网页编码还原读取
本次抓取对象：
http://www.cuiweijuxs.com/jingpinxiaoshuo/

按照第一篇的代码来进行抓取：
# -*- coding: UTF-8 -*-

from urllib import request

if __name__ == "__main__":

    chaper_url = "http://www.cuiweijuxs.com/jingpinxiaoshuo/"

    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0'}

    req = request.Request(url=chaper_url, headers=headers)

    response = request.urlopen(req)

    html = response.read()

    print(html)

　　打印出

b'<!doctype html>\r\n<html>\r\n<head>\r\n<title>\xbe\xab\xc6\xb7\xd0\xa1\xcb\xb5_………………

这样的内容，这个是编码格式的问题，在zipfile解压乱码的文章中已经说过了，所以需要先看下这个html网页的头部，看到编码格式是gbk

具体看http://www.cnblogs.com/yaoshen/p/8671344.html

另外一种程序检测方法是使用chardet（非原生库，需要安装），

charset = chardet.detect(html)
print(charset)
检测内容：{'encoding': 'GB2312', 'confidence': 0.99, 'language': 'Chinese'}

如果使用GB2312来解码是有问题的，尝试过后发现还是gbk比较有效，包含字符多一点

改写代码如下：

    html = html.decode('GBK')

    #except:

    #    html = html.decode('utf-8')

    print(html)

完整代码如下：

# -*- coding: UTF-8 -*-

from urllib import request

import chardet

if __name__ == "__main__":

    chaper_url = "http://www.cuiweijuxs.com/jingpinxiaoshuo/"

    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0'}

    req = request.Request(url=chaper_url, headers=headers)

    response = request.urlopen(req)

    html = response.read()

    print(html)

    # 查看网页编码格式

    charset = chardet.detect(html)

    print(charset)

    # 查看网页内容

    #try:

    html = html.decode('GBK')

    #except:

    #    html = html.decode('utf-8')

    print(html)

stuep2：基础功能设计

建立class：Capture，定义初始化（__init__）、读取（readHtml）、保存（saveHtml）等基础功能函数，然后创建一个run函数来集成运行功能，
最后使用Capture().run()来运行
（1） __init__方法（双下划线），初始化参数
    def __init__(self):

        # 定义抓取网址

        self.init_url = 'http://www.cuiweijuxs.com/jingpinxiaoshuo/'

        # 定义headers

        self.head = {

            'User-Agent': 'Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166  Safari/535.19'}

　（2）将读取网页包装为一个方法，并返回解析后等html对象

    def readHtml(self):

        # 以CSDN为例，CSDN不更改User Agent是无法访问的

        # 创建Request对象

        print(self.init_url)

        req = request.Request(self.init_url, headers=self.head)

        # 传入创建好的Request对象

        response = request.urlopen(req)

        # 读取响应信息并解码

        html = response.read().decode('GBK')

        # 打印信息

        print(html)

        return html

（3）将读取的网页以utf-8的方式写入到文件中

    def saveHtml(self, file_name, file_content):

        file_object = open(file_name, 'w', encoding='utf-8')

        file_object.write(file_content)

        file_object.close()

（4）调用run方法，读取网页，再保存

    def run(self):

        try:

            html = self.readHtml()

            self.saveHtml('test.html', html)

        except BaseException as error:

            print(error)

Capture().run()

完整代码如下：

 # -*- coding: UTF-8 -*-

 from urllib import request

 class Capture:

     def __init__(self):

         # 定义抓取网址

         self.init_url = 'http://www.cuiweijuxs.com/jingpinxiaoshuo/'

         # 定义headers

         self.head = {

             'User-Agent': 'Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166  Safari/535.19'}

     def readHtml(self):

         # 以CSDN为例，CSDN不更改User Agent是无法访问的

         # 创建Request对象

         print(self.init_url)

         req = request.Request(self.init_url, headers=self.head)

         # 传入创建好的Request对象

         response = request.urlopen(req)

         # 读取响应信息并解码

         html = response.read().decode('GBK')

         # 打印信息

         print(html)

         return html

     def saveHtml(self, file_name, file_content):

         file_object = open(file_name, 'w', encoding='utf-8')

         file_object.write(file_content)

         file_object.close()

     def run(self):

         try:

             html = self.readHtml()

             self.saveHtml('test.html', html)

         except BaseException as error:

             print(error)

 Capture().run()
												


											
python3+beautifulSoup4.6抓取某网站小说（二）基础功能设计的更多相关文章
	

    
						
  1. python3+beautifulSoup4.6抓取某网站小说（四）多线程抓取
		
    上一篇多文章,是二级目录,根目录"小说",二级目录"作品名称",之后就是小说文件. 本篇改造了部分代码,将目录设置为根目录->作者目录->作品目录- ...
    
		
    2. 
						
  2. python3+beautifulSoup4.6抓取某网站小说（三）网页分析，BeautifulSoup解析
		
    本章学习内容:将网站上的小说都爬下来,存储到本地. 目标网站:www.cuiweijuxs.com 分析页面,发现一共4步:从主页进入分版打开分页列表.打开分页下所有链接.打开作品页面.打开单章内容. ...
    
		
    3. 
						
  3. python3+beautifulSoup4.6抓取某网站小说（一）爬虫初探
		
    本次学习重点: 1.使用urllib的request进行网页请求,获取当前url整版网页内容 2.对于多级抓取,先想好抓取思路,再动手 3.BeautifulSoup获取html网页中的指定内容 4. ...
    
		
    4. 
								
  4. Python3.x+Fiddler抓取APP数据
		
    随着移动互联网的市场份额逐步扩大,手机APP已经占据我们的生活,以往的数据分析都借助于爬虫爬取网页数据进行分析,但是新兴的产品有的只有APP,并没有网页端这对于想要提取数据的我们就遇到了些问题,本章以 ...
    
		
    5. 
						
  5. Python3.x：抓取百事糗科段子
		
    Python3.x:抓取百事糗科段子 实现代码: #Python3.6 获取糗事百科的段子 import urllib.request #导入各类要用到的包 import urllib import  ...
    
		
    6. 
						
  6. Python多进程方式抓取基金网站内容的方法分析
		
    因为进程也不是越多越好,我们计划分3个进程执行.意思就是 :把总共要抓取的28页分成三部分. 怎么分呢? # 初始range r = range(1,29) # 步长 step = 10 myList ...
    
		
    7. 
						
  7. 使用BurpSuite抓取HTTPS网站的数据包
		
    昨天面试,技术官问到了我如何使用BurpSuite抓取https网站的数据包,一时间没能回答上来(尴尬!).因为以前https网站的数据包我都是用Fiddler抓取的,Fiddlert自动帮我们配置好 ...
    
		
    8. 
						
  8. Python3利用BeautifulSoup4批量抓取站点图片的代码
		
    边学边写代码,记录下来.这段代码用于批量抓取主站下所有子网页中符合特定尺寸要求的的图片文件,支持中断. 原理很简单:使用BeautifulSoup4分析网页,获取网页<a/>和<im ...
    
		
    9. 
						
  9. 用python抓取求职网站信息
		
    本次抓取的是智联招聘网站搜索“数据分析师”之后的信息. python版本: python3.5. 我用的主要package是 Beautifulsoup + Requests+csv 另外,我将招聘内 ...
    
		
    10. 
		

	


随机推荐
	

    
									
  1. Linux 性能工具集
			
    系统级别: 下面这些工具利用内核的计数器在系统软硬件的环境中检查系统级别的活动. vmstat: 虚拟内存和物理内存的统计,系统级别. mpstat: 每个CPU 的 使用情况. iostat: 每个 ...
    
			
    2. 
						
  2. win7上安装macaca的报错问题
			
    macaca网上的各种教程中,都建议使用淘宝源安装macaca,使用淘宝源就需要先安装cnpm,在win7上切换到淘宝源安装cnpm后(npm install -g cnpm --registry=h ...
    
			
    3. 
						
  3. hdu5410(完全背包变形)
			
    这是道完全背包,关键点在于如何处理每种物品,第一次放时,价值为A+B,以后放时,价值为A. 所以有三种决策,对于第i种物品,要么不放,要么是作为第一个放,要么是第二个以后放. 作为第一个放时,需要用到 ...
    
			
    4. 
						
  4. 使用AngelaSmith.产生测试数据
			
    1.安装库程序包.打开NUGET库程序包管理器控制台:输入 Install-Package AngelaSmith -Version 1.0.1                //1.1.1版本可能有 ...
    
			
    5. 
						
  5. javascript复制内容到剪切板/网页上的复制按钮的实现
			
    javascript复制内容到剪切板/网页上的复制按钮的实现:DEMO如下 <!doctype html> <html> <head> <meta chars ...
    
			
    6. 
						
  6. ASP.NET Core MVC 打造一个简单的图书馆管理系统 (修正版)（五）外借/阅览图书信息的增删改查
			
    前言: 本系列文章主要为我之前所学知识的一次微小的实践,以我学校图书馆管理系统为雏形所作. 本系列文章主要参考资料: 微软文档:https://docs.microsoft.com/zh-cn/asp ...
    
			
    7. 
						
  7. 【翻译】- EffectiveAkka-第一章
			
    第一章 Actor应用程序类型 在会议上发言时,我遇到的最多问题之一是“基于Actor的应用程序的用例是什么?”这取决于您要完成的任务,但是如果您想构建具有可管理的并发性.跨节点向外扩展性.并具有容错 ...
    
			
    8. 
						
  8. Golang 入门 : 理解并发与并行
			
    Golang 的语法和运行时直接内置了对并发的支持.Golang 里的并发指的是能让某个函数独立于其他函数运行的能力.当一个函数创建为 goroutine 时,Golang 会将其视为一个独立的工作单 ...
    
			
    9. 
						
  9. Scala入门到精通
			
    原文出自于: http://my.csdn.net/lovehuangjiaju 感谢! 也感谢,http://m.blog.csdn.net/article/details?id=52233484  ...
    
			
    10. 
						
  10. 笔记——malloc、free、不同数据类型操作、.pyc文件、python安装第三方包、验证一个网站的所有链接有效性
			
    C — malloc( ) and free( ) C 语言中使用malloc( )函数申请的内存空间,为什么一定要使用free释放? **malloc()函数功能:是从堆区申请一段连续的空间,函数结 ...
    
			
    11.