版权声明：本文为博主原创文章。未经博主同意不得转载。

https://blog.csdn.net/nealgavin/article/details/27230679

CSDN原则上不让非人浏览訪问。正常爬虫无法从这里爬取文章，须要进行模拟人为浏览器訪问。

使用：输入带文章的CSDN链接自己主动生成正文的HTML，文件名称为标题名

#!/usr/bin/env python

# coding=utf-8

#########################################

	#> File Name: CSDN_article.py

	#> Author: nealgavin

	#> Mail: nealgavin@126.com

	#> Created Time: Tue 27 May 2014 03:42:54 PM CST

#########################################

import random

import socket

import urllib2

import urllib

import re

import string

import BeautifulSoup

import sys

import cookielib

ERROR = {

        '0':'Can not open the url,checck you net',

        '1':'Creat download dir error',

        '2':'The image links is empty',

        '3':'Download faild',

        '4':'Build soup error,the html is empty',

        '5':'Can not save the image to your disk',

    }

class BrowserBase(object):

    """模拟浏览器"""

    def __init__(self):

        socket.setdefaulttimeout(20)

        self.HTML = ''

        self.articleName = ''

        self.link = ''

    def speak(self,name,content):

        print '[%s]%s' %(name,content)

    def openurl(self,url):

        """

        打开网页

        """

        cookie_support= urllib2.HTTPCookieProcessor(cookielib.CookieJar())

        self.opener = urllib2.build_opener(cookie_support,urllib2.HTTPHandler)

        urllib2.install_opener(self.opener)

        user_agents = [

                    'Mozilla/5.0 (Windows; U; Windows NT 5.1; it; rv:1.8.1.11) Gecko/20071127 Firefox/2.0.0.11',

                    'Opera/9.25 (Windows NT 5.1; U; en)',

                    'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)',

                    'Mozilla/5.0 (compatible; Konqueror/3.5; Linux) KHTML/3.5.5 (like Gecko) (Kubuntu)',

                    'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.0.12) Gecko/20070731 Ubuntu/dapper-security Firefox/1.5.0.12',

                    'Lynx/2.8.5rel.1 libwww-FM/2.14 SSL-MM/1.4.1 GNUTLS/1.2.9',

                    "Mozilla/5.0 (X11; Linux i686) AppleWebKit/535.7 (KHTML, like Gecko) Ubuntu/11.04 Chromium/16.0.912.77 Chrome/16.0.912.77 Safari/535.7",

                    "Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:10.0) Gecko/20100101 Firefox/10.0 ",

                    ] 

        agent = random.choice(user_agents)

        self.opener.addheaders = [("User-agent",agent),("Accept","*/*"),('Referer','http://www.google.com')]

        try:

            res = self.opener.open(url)

            self.HTML = res.read()

#            print res.read()

        except Exception,e:

            self.speak(str(e),url)

            raise Exception

        else:

            return res

    def OUT(self):

        print self.HTML

    def getArticleName(self,tags):

        re_rules = r'<span class="(.+?)"><a href="(.+?)">(.+?)</a>'

        p = re.compile(re_rules,re.DOTALL)

        title = p.findall(str(tags))

        self.chineseListOut(title)

    def chineseListOut(self,tags):

        title = []

        for tag in tags:

            for ele in tag:

#                print '+',str(ele),'-'

                title.append(ele.strip())

        self.link = "http://blog.csdn.net" + title[1]

        tle = title[2].split()

        self.articleName = '-'.join(tle)

    def buildArticleHTML(self):

        self.HTML = str(self.HTML)

        self.HTML = '<html><meta charset="utf-8"><body>'+self.HTML

        self.HTML = self.HTML + '</body><html>'

    def getMainArticle(self):

        """get the main article of CSDN blog"""

        soup = BeautifulSoup.BeautifulSoup(self.HTML)

        tags_all = soup.findAll('div',{'class':'article_title'})

        self.getArticleName(tags_all)

        tags_all = soup.findAll('div',{'id':'article_content','class':'article_content'})

        self.HTML = tags_all[0]

        self.buildArticleHTML()

    def saveArticleAsHTML(self):

        filePath = self.articleName+'.html'

        try:

            filePointer = open(filePath,'w+')

        except:

            print 'open error'

        print 'path = ',filePath

        filePointer.write(self.HTML)

        filePointer.close()

browser = BrowserBase()

url = raw_input('Input the links of CSDN article you needed!\n')

if url is None or len(url) == 0:

    url = "http://blog.csdn.net/nealgavin/article/details/27110717"

browser.openurl(url)

browser.getMainArticle()

browser.saveArticleAsHTML()

python爬虫CSDN文章抓取的更多相关文章

  1. 如何让Python爬虫一天抓取100万张网页

    前言 文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 作者: 王平 源自:猿人学Python PS:如有需要Python学习资料的 ...

  2. CSDN文章抓取

    在抓取网页的时候只想抓取主要的文本框,例如 csdn 中的主要文本框为下图红色框: 抓取的思想是,利用 bs4 查找所有的 div,用正则筛选出每个 div 里面的中文,找到中文字数最多的 div 就 ...

  3. 芝麻HTTP：Python爬虫实战之抓取爱问知识人问题并保存至数据库

    本次为大家带来的是抓取爱问知识人的问题并将问题和答案保存到数据库的方法,涉及的内容包括: Urllib的用法及异常处理 Beautiful Soup的简单应用 MySQLdb的基础用法 正则表达式的简 ...

  4. python爬虫 前程无忧网页抓取

    Python爬虫视频教程零基础小白到scrapy爬虫高手-轻松入门 https://item.taobao.com/item.htm?spm=a1z38n.10677092.0.0.482434a6E ...

  5. Python爬虫之一 PySpider 抓取淘宝MM的个人信息和图片

    ySpider 是一个非常方便并且功能强大的爬虫框架,支持多线程爬取.JS动态解析,提供了可操作界面.出错重试.定时爬取等等的功能,使用非常人性化. 本篇通过做一个PySpider 项目,来理解 Py ...

  6. 【Python爬虫基础】抓取知乎页面所有图片

    抓取地址所有图片 #! /usr/bin/env python from urlparse import urlsplit from os.path import basename import ur ...

  7. 芝麻HTTP：Python爬虫实战之抓取淘宝MM照片

    本篇目标 1.抓取淘宝MM的姓名,头像,年龄 2.抓取每一个MM的资料简介以及写真图片 3.把每一个MM的写真图片按照文件夹保存到本地 4.熟悉文件保存的过程 1.URL的格式 在这里我们用到的URL ...

  8. 【Python爬虫程序】抓取MM131美女图片，并将这些图片下载到本地指定文件夹。

    一.项目名称 抓取MM131美女写真图片,并将这些图片下载到本地指定文件夹. 共有6种类型的美女图片: 性感美女 清纯美眉 美女校花 性感车模 旗袍美女 明星写真 抓取后的效果图如下,每个图集是一个独 ...

  9. 第三百四十一节，Python分布式爬虫打造搜索引擎Scrapy精讲—编写spiders爬虫文件循环抓取内容—meta属性返回指定值给回调函数—Scrapy内置图片下载器

    第三百四十一节,Python分布式爬虫打造搜索引擎Scrapy精讲—编写spiders爬虫文件循环抓取内容—meta属性返回指定值给回调函数—Scrapy内置图片下载器 编写spiders爬虫文件循环 ...

随机推荐

  1. Struts2(三)配置详解

    一.概述 Struts2提供了多种可选的配置文件形式. 其中,struts-default.xml和default.properties是框架级别的配置文件,这两个文件在Struts的核心JAR包中, ...

  2. Eclipse新建动态web工程项目出现红叉解决方案

    问题描述:之前新建动态web工程一直没有问题,今天新建一个项目后项目名称上突然出现小红叉,子目录文件没有红叉. 解决过程:一开始想到的就是编译器的level设置,调整了一下,仍然没有解决. 然后在标记 ...

  3. 音频中PCM的概念

    本文取自由http://blog.csdn.net/droidphone一部分 1. PCM是什么 PCM是英文Pulse-code modulation的缩写,中文译名是脉冲编码调制.我们知道在现实 ...

  4. windows内核情景分析之—— KeRaiseIrql函数与KeLowerIrql()函数

    windows内核情景分析之—— KeRaiseIrql函数与KeLowerIrql()函数 1.KeRaiseIrql函数 这个 KeRaiseIrql() 只是简单地调用 hal 模块的 KfRa ...

  5. 【设计模式】MVC，MVP 和 MVVM 的区别

    复杂的软件必须有清晰合理的架构,否则无法开发和维护. MVC(Model-View-Controller)是最常见的软件架构之一,业界有着广泛应用.它本身很容易理解,但是要讲清楚,它与衍生的 MVP ...

  6. 使用 webpack 优化资源

    在前端应用的优化中,对加载资源的大小控制极其的重要,大多数时候我们能做的是在打包编译的过程对资源进行大小控制.拆分与复用.本片文章中主要是基于 webpack 打包,以 React.vue 等生态开发 ...

  7. Elasticsearch学习之SearchRequestBuilder的query类型

    1. 分词的时机 对于ES来讲,可以对文档的内容进行分词(前提是设置了analyzed),也可以对输入的搜索词进行分词.对输入的搜索词进行分词时需要看下使用的什么类型的query.不同的query可能 ...

  8. 从Java代码到字节码（1）

    理解Java代码是如何被编译为字节码并在Java虚拟机(JVM)上执行是非常重要的,这将帮助理解你的程序是如何执行的.这样的理解不仅仅能够让你在逻辑上更好的掌握语言特性,而且能够有机会理解在做出重要决 ...

  9. yii---获取当前sql语句

    我们在用YII开发项目的时候,会查看当前执行的SQL语句来排查错误,那么YII该如何获取当前的SQL语句呢? $list = user::find()->where(['title'=>$ ...

  10. Java基础之理解封装,继承,多态三大特性

    目录 封装 继承 多态 封装 封装隐藏了类的内部实现机制,可以在不影响使用的情况下改变类的内部结构,同时也保护了数据.对外界而已它的内部细节是隐藏的,暴露给外界的只是它的访问方法. 代码理解 publ ...