利用Python抓取CSDN博客

　　这两天发现了一篇好文章，陈皓写的makefile的教程，具体地址在这里《跟我一起写makefile》

　　这篇文章一共分成了14个部分，我看东西又习惯在kindle上面看，感觉一篇一篇地复制成txt文本太弱了，索性就用python写了一个小爬虫，把这些文章全部都下载下来。

　　

　　这个程序主要可以分成这么几块内容，获取，分析，转换。

　　程序的整体结构如下图所示：

　　

　　get_html.py程序的功能就是实现获取功能，将下载到的原始的html文件都存放到ori_html文件夹中。ana_html.py程序实现了上面的分析和转换两个功能，通过分析原始html文件，将包含正文的div块提取出来，存放到div_html文件夹的html文件中，再利用lynx函数将这些html文本转换成txt文本，存放到text文件夹中。

　　第一，获取。

　　这一步做的事情就是把这几篇文章的html文件全部都下载下来。这个就是构造一个http请求，然后请求回来一个html页面就好了。需要注意的就是这几篇文章存放路径的编号。比如第一篇文章，它的链接是这个：http://blog.csdn.net/haoel/article/details/2886，最后编号是2886。第二篇文章的链接是这个：http://blog.csdn.net/haoel/article/details/2887。最后编号是2887。至于最后一篇文章，第14篇文章的链接是这个：http://blog.csdn.net/haoel/article/details/2899，最后的编号是2899。相信从这里大家可以看出规律来了吧，从第一篇文章到最后一篇文章，存放路径的编号依次就是从2886到2899递增。那我下载html页面的时候，其实就是只要把这个编号不断递增，就可以把所有14篇文章都给下载下来了。具体代码如下：

 #!/usr/bin/env python
 # -* - coding: UTF-8 -* -

 import httplib
 from time import sleep

 def writeFile(html,list_num):
     filename = "./ori_html/htmlfile%d.html" % list_num
     file_obj = open(filename,"w")
     file_obj.write(html)
     file_obj.close()
     print "%s文件已经写入" % filename
 def getHTML(list_num):
     print '准备获取%d号HTML文档成功' % list_num
     url = "http://blog.csdn.net/haoel/article/details/%d" % list_num
     conn = httplib.HTTPConnection("blog.csdn.net")
     conn.request(method="GET",url=url)
     response = conn.getresponse()
     res= response.read()
     print '获取%d号HTML文档成功' % list_num
     writeFile(res,list_num)
 def getHTMLs():
         for num in range(2886,2900):
             sleep(1)
         　　 getHTML(num)

 getHTMLs()

　　主函数getHTMLs通过调用getHTML来下载多个页面。每下载完一个页面，就暂停一秒钟，这是为了防止访问速度过快，让服务器认定这是攻击行为，把本机IP给屏蔽掉了。getHTML函数就是根据不同的编号，下载不同的页面，然后将下载到的页面存放到ori_html文件夹中，意思就是原始的html文件（original html）。

　　第二，分析

　　上面把所有的html文件都给下载好了，但是并不是这个页面的所有的内容都是我们想要的，我们只想要中间的正文部分，如下图所示：

　　

　　在这个页面中我们只想要那个画红线的部分。

　　这个要具体怎么做呢，就是通过chrome分析原界面，可以看到中间的正文部分是通过一个id为article_content的div来表示的，如下图所示，

　　

　　我们只要把这个div给获取出来了，那么就能得到正文内容了。

　　获取了这个div之后，再把它存放到一个html文件中，然后再来通过lynx命令，就能把这个篇文章下载到本地了，具体代码如下：

 #!/usr/bin/env python
 # -* - coding: UTF-8 -* -

 from bs4 import BeautifulSoup
 import os

 def readFile(filename):
         print "read the %s" % filename
         file_obj = open(filename,"r")
         html = file_obj.read()
         file_obj.close()
         return html

 def writeFile(html,list_num):
         filename = "./div_html/div_html_%d.html" % list_num
         if os.path.exists(filename):
                 print "%s 已经存在" % filename
                 return -1
         file_obj = open(filename,"w")
         print >> file_obj,html
         print "%s已经写入" % filename

 def formFile(list_num):
         outnum = list_num - 2886 + 1
         filename = "./div_html/div_html_%d.html" % list_num
         outname = "text/makefile_%d.txt" % outnum
         cmd = "lynx --dump %s > %s" % (filename,outname)
         os.system(cmd)
         print "%s已经写入" % outname

 def main():
         for num in range(2886,2900):
                 filename = "./ori_html/htmlfile%d.html" % num
                 if not os.path.exists(filename):
                         print "%s donn't exist" % filename
                         continue
                 html_doc = readFile(filename)
                 soup = BeautifulSoup(html_doc)
                 div_html = soup.find_all("div",id="article_content")
                 writeFile(div_html[0],num)
                 formFile(num)

 main()

　　在主函数中通过for循环依次遍历每个文件，readFile函数的功能就是读取html文件内的html代码存放到html_doc里面。然后再通过bs4的find_all方法，找到id为article_content的div节点。这里返回的结果是一个tag元素列表，所以底下给writeFile函数传递的参数为div_html[0]，将这个tag元素传递进去。

　　在writeFile函数中，将传递进来的tag元素的所有内容都写入到div_html文件夹的文件中。然后再在formFile(格式化文件，format file)函数中，利用lynx命令，将这个包含正文的div转换成txt文本，写入到text文件夹的文本文件中去。

　　这里需要注意的一点就是writeFile函数中，将print函数打印的内容写入文件的方法直接就是print >> 文件对象名，print的参数，这样相当于做了一个数据流重定向，将本应打印到屏幕上的东西打印到文件中去了。

　　最后下载下来的文档如下所示：

　　

　　OK，就是这么多了。这个程序写的比较仓促，感觉程序中还有许多冗余的地方，欢迎各位指正！