这个项目看了有段时间，因为一直没跑通，而且关于NNTP也不是特别理解。这里是转载code123的分析。

原文地址：http://www.code123.cc/1327.html

书中的第四个练习，新闻聚合。现在很少见的一类应用，至少我从来没有用过，又叫做Usenet。这个程序的主要功能是用来从指定的来源（这里是Usenet新闻组）收集信息，然后讲这些信息保存到指定的目的文件中（这里使用了两种形式：纯文本和html文件）。这个程序的用处有些类似于现在的博客订阅工具或者叫RSS订阅器。

先上代码，然后再来逐一分析：

from nntplib import NNTP

from time import strftime,time,localtime

from email import message_from_string

from urllib import urlopen

import textwrap

import re

day = 24*60*60

def wrap(string,max=70):

        '''

        '''

        return '\n'.join(textwrap.wrap(string)) + '\n'

class NewsAgent:

        '''

        '''

        def __init__(self):

                self.sources = []

                self.destinations = []

        def addSource(self,source):

                self.sources.append(source)

        def addDestination(self,dest):

                self.destinations.append(dest)

        def distribute(self):

                items = []

                for source in self.sources:

                        items.extend(source.getItems())

                for dest in self.destinations:

                        dest.receiveItems(items)

class NewsItem:

        def __init__(self,title,body):

                self.title = title

                self.body = body

class NNTPSource:

        def __init__(self,servername,group,window):

                self.servername = servername

                self.group = group

                self.window = window

        def getItems(self):

                start = localtime(time() - self.window*day)

                date = strftime('%y%m%d',start)

                hour = strftime('%H%M%S',start)

                server = NNTP(self.servername)

                ids = server.newnews(self.group,date,hour)[1]

                for id in ids:

                        lines = server.article(id)[3]

                        message = message_from_string('\n'.join(lines))

                        title = message['subject']

                        body = message.get_payload()

                        if message.is_multipart():

                                body = body[0]

                        yield NewsItem(title,body)

                server.quit()

class SimpleWebSource:

        def __init__(self,url,titlePattern,bodyPattern):

                self.url = url

                self.titlePattern = re.compile(titlePattern)

                self.bodyPattern = re.compile(bodyPattern)

        def getItems(self):

                text = urlopen(self.url).read()

                titles = self.titlePattern.findall(text)

                bodies = self.bodyPattern.findall(text)

                for title.body in zip(titles,bodies):

                        yield NewsItem(title,wrap(body))

class PlainDestination:

        def receiveItems(self,items):

                for item in items:

                        print item.title

                        print '-'*len(item.title)

                        print item.body

class HTMLDestination:

        def __init__(self,filename):

                self.filename = filename

        def receiveItems(self,items):

                out = open(self.filename,'w')

                print >> out,'''

                <html>

                <head>

                 <title>Today's News</title>

                </head>

                <body>

                <h1>Today's News</hi>

                '''

                print >> out, '<ul>'

                id = 0

                for item in items:

                        id += 1

                        print >> out, '<li><a href="#">%s</a></li>' % (id,item.title)

                print >> out, '</ul>'

                id = 0

                for item in items:

                        id += 1

                        print >> out, '<h2><a name="%i">%s</a></h2>' % (id,item.title)

                        print >> out, '<pre>%s</pre>' % item.body

                print >> out, '''

                </body>

                </html>

                '''

def runDefaultSetup():

        agent = NewsAgent()

        bbc_url = 'http://news.bbc.co.uk/text_only.stm'

        bbc_title = r'(?s)a href="[^"]*">\s*<b>\s*(.*?)\s*</b>'

        bbc_body = r'(?s)</a>\s*<br/>\s*(.*?)\s*<'

        bbc = SimpleWebSource(bbc_url, bbc_title, bbc_body)

        agent.addSource(bbc)

        clpa_server = 'news2.neva.ru'

        clpa_group = 'alt.sex.telephone'

        clpa_window = 1

        clpa = NNTPSource(clpa_server,clpa_group,clpa_window)

        agent.addSource(clpa)

        agent.addDestination(PlainDestination())

        agent.addDestination(HTMLDestination('news.html'))

        agent.distribute()

if __name__ == '__main__':

        runDefaultSetup()
 

这个程序，首先从整体上进行分析，重点部分在于NewsAgent，它的作用是存储新闻来源，存储目标地址，然后在分别调用来源服务器（NNTPSource以及SimpleWebSource）以及写新闻的类（PlainDestination和HTMLDestination）。所以从这里也看的出，NNTPSource是专门用来获取新闻服务器上的信息的，SimpleWebSource是获取一个url上的数据的。而PlainDestination和HTMLDestination的作用很明显，前者是用来输出获取到的内容到终端的，后者是写数据到html文件中的。

有了这些分析，然后在来看主程序中的内容，主程序就是来给NewsAgent添加信息源和输出目的地址的。

这确实是个简单的程序，不过这个程序可是用到了分层了。

PYTHON：新闻聚合的更多相关文章

  1. Python 数据分析（二 本实验将学习利用 Python 数据聚合与分组运算，时间序列，金融与经济数据应用等相关知识

    Python 数据分析(二) 本实验将学习利用 Python 数据聚合与分组运算,时间序列,金融与经济数据应用等相关知识 第1节 groupby 技术 第2节 数据聚合 第3节 分组级运算和转换 第4 ...

  2. 基于Scrapy框架的Python新闻爬虫

    概述 该项目是基于Scrapy框架的Python新闻爬虫,能够爬取网易,搜狐,凤凰和澎湃网站上的新闻,将标题,内容,评论,时间等内容整理并保存到本地 详细 代码下载:http://www.demoda ...

  3. python基础教程总结15——4 新闻聚合

    NNTP:网络新闻传输协议,Network News Transfer Protocol 目标: 从多种不同的来源收集新闻: 用户可以轻松添加新的新闻来源(甚至是新类型的新闻来源: 程序可以将编译好的 ...

  4. python 实践--新闻聚合

    采集新闻,体会到面向问题和面向对象的区别. 如果希望新闻来源多出,比如NNTP,Web.可以实现:Source,Destination,NewItem,NewAgent. Scoure处理来源, De ...

  5. 【开源】开发者新闻聚合APP 2.0.3发布（第二个稳定版本）

    聚合了博客园新闻.infoq新闻.36kr新闻.oschina新闻.51cto新闻.csdn新闻: 争取做到随时刷随时有开发者的新闻! 目前还只支持安卓APP 但用的人多了,我会发布苹果版的APP 最 ...

  6. 【开源】开发者新闻聚合APP 1.0.3发布（第一个稳定版本，短期内不再发布新版本）

    聚合了博客园新闻.infoq新闻.36kr新闻.oschina新闻.51cto新闻.csdn新闻: 争取做到随时刷随时有开发者的新闻! 目前还只支持安卓APP 最新版本的下载地址:https://gi ...

  7. python 数据聚合与分组

    前面讲完了字符处理,但对数据进行整体性的聚合运算以及分组操作也是数据分析的重要内容. 通过数据的聚合与分组,我们能更容易的发现隐藏在数据中的规律. 数据分组 数据的分组核心思想是:拆分-组织-合并 首 ...

  8. Python数据聚合和分组运算(1)-GroupBy Mechanics

    前言 Python的pandas包提供的数据聚合与分组运算功能很强大,也很灵活.<Python for Data Analysis>这本书第9章详细的介绍了这方面的用法,但是有些细节不常用 ...

  9. Python数据聚合和分组运算(2)-Data Aggregation

    在上一篇博客里我们讲解了在python里运用pandas对数据进行分组,这篇博客将接着讲解对分组后的数据进行聚合. 1.python 中经过优化的groupy方法  先读入本文要使用的数据集tips. ...

随机推荐

  1. mysql性能监控工具

    参考文档: http://www.linuxidc.com/Linux/2012-09/70459.htm 1.记录慢查询SQL #配置开启 (linux)修改my.cnf: log-slow-que ...

  2. 谈谈关于PHP的代码安全相关的一些致命知识

    谈谈关于PHP的代码安全相关的一些致命知识 目标 本教程讲解如何防御最常见的安全威胁:SQL 注入.操纵 GET 和 POST 变量.缓冲区溢出攻击.跨站点脚本攻击.浏览器内的数据操纵和远程表单提交. ...

  3. Mac之OS系统下搭建JavaEE环境 <一> 之JDK的安装配置

    这篇文章介绍了如何在Mac下搭建我们的JavaEE工作环境,对于初学者来说还是比较通俗易懂的. 一.JDK的安装及配置 1.首先我们到Oracle官网下JDK http://www.oracle.co ...

  4. MySQL实现自动使用uuid作为主键以及解决不能调用触发器的一点思路

    这里使用触发程序实现此功能. 触发程序语法如下: Create trigger <tri_name> {before|after} {insert|update|delete} On &l ...

  5. 面向对象15.3String类-常见功能-判断

    /*3.判断 * 3.1两个字符串内容是否相同? * boolean equals(Object obj)(参数是Object,不是String,因为equals是覆盖Object里面的equals方 ...

  6. 关于shell脚本函数、数组、字符串截取、svn更新发布实例

    #/bin/bash #功能:QA服根据模板创建区配置文件并提交到svn上. SOURCE_PATH=/data/source_code SVN_PATH=/code/psm   #svn发布目录,要 ...

  7. Django源码学习 了解render与render_to_response

    render与render_to_response def render_to_response(template_name, context=None, content_type=None, sta ...

  8. 聊一聊FE面试那些事

    聊一聊FE面试那些事 最近公司由于业务的扩展.技术的延伸需要招一批有能力的小伙伴加入,而我有幸担任"技术面试官"的角色前前后后面试了不下50多位候选人,如同见证了50多位前端开发者 ...

  9. 一.CPU,Mem过高怎么办 --这是个开始

    本身是名Java开发,在做了一段大数据的工作后,猛然间想对Java做个总结. 从未写过技术博客,一时不知如何开始,思虑后,暂且以自己喜爱的方式来开篇. 工作中遇到过CPU或内存过高的问题,解决步骤: ...

  10. 整合微信小程序的Web API接口层的架构设计

    在我前面有很多篇随笔介绍了Web API 接口层的架构设计,以及对微信公众号.企业号.小程序等模块的分类划分.例如在<C#开发微信门户及应用(43)--微信各个项目模块的定义和相互关系>介 ...