这个不错。正好入门学习使用。

1、其中用到 feedparser:

技巧:使用 Universal Feed Parser 驾驭 RSS

http://www.ibm.com/developerworks/cn/xml/x-tipufp.html

请访问 feedparser.org,详细了解 Universal Feed Parser,其中还包括一些下载资料和文档。

feedparser 实际下载地址:

http://code.google.com/p/feedparser/downloads/list

2、另外,需要将文件加上 utf-8 的 bom 头,需要用到 python 写入十六进制字符:

http://linux.byexamples.com/archives/478/python-writing-binary-file/

python 写入十六进制字符

file.write("\x5F\x9D\x3E")

file.close()

3、因为要调试,文件的打开模式改成 w 方便一些。

    1. import urllib
    2. import sys
    3. import re
    4. from feedparser import _getCharacterEncoding as enc
    5. class TagParser:
    6. def __init__(self, value):
    7. self.value = value
    8. def get(self, start, end):
    9. regx = re.compile(r'<' + start + r'.*?>.*</' + end + r'>')
    10. return re.findall(regx, self.value)
    11. if __name__ == "__main__":
    12. baseurl = "http://data.book.163.com/book/section/000BAfLU/000BAfLU"
    13. f = open("test_01.txt", "w")
    14. f.write("\xef\xbb\xbf")
    15. #    for ndx in range(0, 56):
    16. for ndx in range(0, 1):
    17. url = baseurl + str(ndx) + ".html"
    18. print "get content from " + url
    19. src = urllib.urlopen(url)
    20. text = src.read()
    21. f1= open("tmp_" + str(ndx) + ".txt", "w")
    22. f1.write(text)
    23. f1.close()
    24. encoding = enc(src.headers, text)[0]
    25. tp = TagParser(text)
    26. title = tp.get('h1 class="f26s tC"', 'h1')
    27. article = tp.get('p class="ti2em"', 'p')
    28. t = re.sub(r'</.+>', '\n', title[0])
    29. t = re.sub(r'<.+>', '\n', t)
    30. data = t
    31. c = ""
    32. for p in article:
    33. pt = re.sub(r'</p>', '\n', p)
    34. c += pt
    35. c = re.sub(r'<.+>', '\n', c)
    36. data += c
    37. data = data.decode(encoding)
    38. f.write(data.encode('utf-8', 'ignore'))
    39. f.close()

python 入门实践之网页数据抓取的更多相关文章

  1. Python爬虫之-动态网页数据抓取

    什么是AJAX: AJAX(Asynchronouse JavaScript And XML)异步JavaScript和XML.过在后台与服务器进行少量数据交换,Ajax 可以使网页实现异步更新.这意 ...

  2. 爬虫---selenium动态网页数据抓取

    动态网页数据抓取 什么是AJAX: AJAX(Asynchronouse JavaScript And XML)异步JavaScript和XML.过在后台与服务器进行少量数据交换,Ajax 可以使网页 ...

  3. 吴裕雄--天生自然python学习笔记:WEB数据抓取与分析

    Web 数据抓取技术具有非常巨大的应用需求及价值, 用 Python 在网页上收集数据,不仅抓取数据的操作简单, 而且其数据分析功能也十分强大. 通过 Python 的时lib 组件中的 urlpar ...

  4. 网页数据抓取工具,webscraper 最简单的数据抓取教程,人人都用得上

    Web Scraper 是一款免费的,适用于普通用户(不需要专业 IT 技术的)的爬虫工具,可以方便的通过鼠标和简单配置获取你所想要数据.例如知乎回答列表.微博热门.微博评论.淘宝.天猫.亚马逊等电商 ...

  5. Android登录client,验证码的获取,网页数据抓取与解析,HttpWatch基本使用

    大家好,我是M1ko.在互联网时代的今天,假设一个App不接入互联网.那么这个App一定不会有长时间的生命周期,因此Android网络编程是每个Android开发人员必备的技能.博主是在校大学生,自学 ...

  6. Python笔记(十一)——数据抓取例子

    上班时候想看股票行情怎么办?试试这个小例子,5分钟拉去一次股票价格,预警: #coding=utf-8 import re import urllib2 import time import thre ...

  7. python python 入门学习之网页数据爬虫cnbeta文章保存

    需求驱动学习的动力. 因为我们单位上不了外网所以读新闻是那么的痛苦,试着自己抓取网页保存下来,然后离线阅读.今天抓取的是cnbeta科技新闻,抓取地址是http://m.cnbeta.com/wap/ ...

  8. python python 入门学习之网页数据爬虫搜狐汽车数据库

    自己从事的是汽车行业,所以首先要做的第一个程序是抓取搜狐汽车的销量数据库(http://db.auto.sohu.com/cxdata/): 数据库提供了07年至今的汽车月销量,每个车型对应一个xml ...

  9. 【Android 我的博客APP】1.抓取博客首页文章列表内容——网页数据抓取

    打算做个自己在博客园的博客APP,首先要能访问首页获取数据获取首页的文章列表,第一步抓取博客首页文章列表内容的功能已实现,在小米2S上的效果图如下: 思路是:通过编写的工具类访问网页,获取页面源代码, ...

随机推荐

  1. hdu 3972 1 M possible

    一般做法: 显然的超内存 #include<stdio.h> #include<algorithm> using namespace std; ],ans[]; int mai ...

  2. Java 反编译工具几枚(class转java)

    1.Java Decompiler Yet another fast Java decompiler. 下载地址:http://jd.benow.ca/#jd-gui-download 一款非常简洁的 ...

  3. c语言中static的用法

    1.static定义变量: 1).局部: a.静态局部变量在函数内部定义,生存期为整个源代码,但作用域与自动变量相同,只能在定义的函数里面使用.退出该函数后,虽然此变量还存在内存中,但不能使用. b. ...

  4. 利用PhantomJS搭建Highcharts export服务

    利用PhantomJS搭建Highcharts export服务 一直在使用Highcharts做web图表的展示, 但是当发送定时的报表邮件的遇到了这个问题. 为了保证邮件图表和web页图表样式一致 ...

  5. 【HDOJ】4080 Stammering Aliens

    1. 题目描述给定一个长为$n \in [1, 4000]$的字符串,求其中长度最长的子串,并且该子串在原串中出现至少$m$次,并求最右起始位置. 2. 基本思路两种方法:二分+后缀数组,或者二分+哈 ...

  6. 函数ut_2_log

    计算某个数的对数(最大的) 例如 16 计算后为 4 2的4次方为16 例如15 计算后为3 2的3次方为8 /******************************************** ...

  7. iOS开发:本地数据存储-NSUserDefaults

    Getting Default Values arrayForKey(_:) boolForKey(_:) dataForKey(_:) dictionaryForKey(_:) floatForKe ...

  8. 原创:js代码, 让dedecms支持Tag选择, 添加内容更为方便,不用手输Tag

    dedecms在编辑修改内容时,TAG标签需要手动输,中文的Tag, 中间还得用半角字符','分隔,  输入法切来切去很不方便,   于是动手改后台代码, 利用后台的tags_main.php, 让d ...

  9. OOP——UML六种关系

    UML定义的关系主要有:泛化.实现.依赖.关联.聚合.组合,这六种关系紧密程度依次加强,分别看一下 泛化 概念:泛化是一种一般与特殊.一般与具体之间关系的描述,具体描述建立在一般描述的基础之上,并对其 ...

  10. WordPress数据库研究 (转)

    该系列文章将会详细介绍WordPress数据总体的设计思路.详细介绍WordPress10个数据表的设计.并对WordPress系统中涉及的用户信息.分类信息.链接信息.文章信息.文章评论信息.基本设 ...