爬虫框架：开发平台 centos6.7 根据慕课网爬虫教程编写代码 片区百度百科url，标题，内容

分为4个模块:html_downloader.py 下载器
html_outputer.py 爬取数据生成html模块
html_parser 获取有用数据
url_manager url管理器
spider_main 爬虫启动代码
 
spider_main.py
 #!/usr/bin/python

 #-*- coding: utf8 -*-

 import html_downloader

 import html_outputer

 import html_parser

 import url_manager

 class SpiderMain(object):

     def __init__(self):

         #初始化url管理器

         self.urls = url_manager.UrlManager()

         #初始化url下载器

         self.downloader = html_downloader.HtmlDownloader()

         #初始化url解析器

         self.parser = html_parser.HtmlParser()

         #初始化url输出

         self.outputer = html_outputer.HtmlOutputer()

     def craw(self, root_url):

         count = 1

         #url管理器中添加一个new url

         self.urls.add_new_url(root_url)

         #判断是否有新的URL 开始爬取

         while self.urls.has_new_url():

             try:

                 #得到新的url

                 new_url = self.urls.get_new_url()

                 print 'craw %d : %s' % (count, new_url)

                 #下载新的url的数据

                 html_cont = self.downloader.download(new_url)

                 #解析出来url的内容和地址

                 new_urls, new_data = self.parser.parse(new_url, html_cont)

                 #新的url补充进url管理器

                 self.urls.add_new_urls(new_urls)

                 #输出数据

                 self.outputer.collect_data(new_data)

                 if count == 1001:

                     break

                 count = count + 1

                 print count

             except:

html_parser.py

 #!/bin/usr/python

 #-*- coding:utf8 -*-

 from bs4 import BeautifulSoup

 import re

 import urlparse

 class HtmlParser(object):

     '''

     解析器

     '''

     def _get_new_urls(self, page_url, soup):

         new_urls = set()

         links = soup.find_all('a', href=re.compile(r"/view/\d+\.htm"))

         for link in links:

             new_url = link['href']

             new_full_url = urlparse.urljoin(page_url, new_url)

             new_urls.add(new_full_url)

         return new_urls

     def _get_new_data(self, page_url, soup):

         res_data = {}

         res_data['url'] = page_url

         title_node = soup.find('dd', class_="lemmaWgt-lemmaTitle-title").find('h1')

         res_data['title'] = title_node.get_text()

         summary_node = soup.find('div', class_="lemma-summary")

         res_data['summary'] = summary_node.get_text()

         print res_data['summary']

         return res_data

     def parse(self, page_url, html_cont):

         if page_url is None or html_cont is None:

             return 

         soup = BeautifulSoup(html_cont, 'html.parser', from_encoding='utf-8')

         new_urls = self._get_new_urls(page_url, soup)

         new_data = self._get_new_data(page_url, soup)

         print new_data

         return new_urls, new_data

html_outputer.py

 #!/usr/bin/python

 #-*- coding:utf8 -*-

 class HtmlOutputer(object):

     def __init__(self):

         self.datas = []

     def collect_data(self, data):

         if data is None:

             return

         self.datas.append(data)

     def output_html(self):

         fout = open('output.html', 'w')

         fout.write("<html>")

         fout.write("<body>")

         fout.write("<head>")

         fout.write('<meta charset="utf-8">')

         fout.write("</head>")

         fout.write("<table>")

         for data in self.datas:

             fout.write("<tr>")

             fout.write("<td>%s</td>" % data['url'])

             fout.write("<td>%s</td>" % data['title'].encode('utf-8'))

             fout.write("<td>%s</td>" % data['summary'].encode('utf-8'))

             fout.write("</tr>")

         fout.write("</table>")

         fout.write("</body>")

         fout.write("</html>")

         fout.close()

html_downloader.py

 #!/usr/bin/python

 #-*- coding:utf8 -*-

 import urllib2

 class HtmlDownloader(object):

     '''

     下载器

     '''

     def download(self, url):

         if url is None:

             return None

         response = urllib2.urlopen(url)

         if response.getcode() != 200:

             print '请求失败'

             return None

         return response.read()

url_manager.py

 #!/usr/bin/python

 #-*- coding:utf8 -*-

 class UrlManager(object):

     '''

     url管理器

     '''

     def __init__(self):

         self.new_urls = set()

         self.old_urls = set()

     def add_new_url(self, url):

         if url is None:

             return

         if url not in self.new_urls and url not in self.old_urls:

             self.new_urls.add(url)

     def has_new_url(self):

         if len(self.new_urls) != 0:

             return len(self.new_urls)

         else:

             print '没有新的url'

     def get_new_url(self):

         new_url = self.new_urls.pop()

         self.old_urls.add(new_url)

         return new_url

     def add_new_urls(self, urls):

         if urls is None or len(urls) == 0:

             return

         for url in urls:

             self.add_new_url(url)

python爬虫—爬取百度百科数据的更多相关文章

  1. python爬虫-爬取百度图片

    python爬虫-爬取百度图片(转) #!/usr/bin/python# coding=utf-8# 作者 :Y0010026# 创建时间 :2018/12/16 16:16# 文件 :spider ...

  2. Python爬虫 - 爬取百度html代码前200行

    Python爬虫 - 爬取百度html代码前200行 - 改进版,  增加了对字符串的.strip()处理 源代码如下: # 改进版, 增加了 .strip()方法的使用 # coding=utf-8 ...

  3. 写一个python 爬虫爬取百度电影并存入mysql中

    目标是利用python爬取百度搜索的电影 在类型 地区 年代各个标签下 电影的名字 评分 和图片连接 以及 电影连接 首先我们先在mysql中建表 create table liubo4( id in ...

  4. python爬虫-爬取豆瓣电影数据

    #!/usr/bin/python# coding=utf-8# 作者 :Y0010026# 创建时间 :2018/12/16 16:27# 文件 :spider_05.py# IDE :PyChar ...

  5. python简单爬虫爬取百度百科python词条网页

    目标分析:目标:百度百科python词条相关词条网页 - 标题和简介 入口页:https://baike.baidu.com/item/Python/407313 URL格式: - 词条页面URL:/ ...

  6. Python爬虫爬取百度翻译之数据提取方法json

    工具:Python 3.6.5.PyCharm开发工具.Windows 10 操作系统 说明:本例为实现输入中文翻译为英文的小程序,适合Python爬虫的初学者一起学习,感兴趣的可以做英文翻译为中文的 ...

  7. Python爬虫爬取百度贴吧的帖子

    同样是参考网上教程,编写爬取贴吧帖子的内容,同时把爬取的帖子保存到本地文档: #!/usr/bin/python#_*_coding:utf-8_*_import urllibimport urlli ...

  8. Python爬虫爬取百度贴吧的图片

    根据输入的贴吧地址,爬取想要该贴吧的图片,保存到本地文件夹,仅供参考: #!/usr/bin/python#_*_coding:utf-8_*_import urllibimport urllib2i ...

  9. python爬虫爬取赶集网数据

    一.创建项目 scrapy startproject putu 二.创建spider文件 scrapy genspider  patubole patubole.com   三.利用chrome浏览器 ...

随机推荐

  1. Spark入门实战系列--10.分布式内存文件系统Tachyon介绍及安装部署

    [注]该系列文章以及使用到安装包/测试数据 可以在<倾情大奉送--Spark入门实战系列>获取 .Tachyon介绍 1.1 Tachyon简介 随着实时计算的需求日益增多,分布式内存计算 ...

  2. 关于IE6的PNG图像透明使用AlphaImageLoader的缺点

    PNG32的alpha透明效果在IE6下会出现bug,出现灰色背景.而目前的解决方案就是 IE提供的滤镜.需要注意的是滤镜并不是对原图片进行修改,而是对相应的html元素进行 修改.所以在一个html ...

  3. 1Z0-053 争议题目解析695

    1Z0-053 争议题目解析695 考试科目:1Z0-053 题库版本:V13.02 题库中原题为: 695.Identify two options that Oracle recommends w ...

  4. javascript判断元素存在和判断元素存在于实时的dom中的方法

    今天(周六)下午我在公司加班时不知道要干什么,就打开公司的一个wordpress项目网站,想看下之前自己做的一个网页是否有问题. 打开网站首页,我习惯性的打开了chrome的调试工具,然后鼠标开始滚动 ...

  5. Struts2 源码分析——配置管理之PackageProvider接口

    本章简言 上一章讲到关于ContainerProvider的知识.让我们知道struts2是如何注册相关的数据.也知道如何加载相关的配置信息.本章笔者将讲到如何加载配置文件里面的package元素节点 ...

  6. unity3D-iOS工程整合爬过的坑~

    unity3D-iOS工程整合爬过的坑~ 好久好久没有写博了~ 最近换了一份有意思的新工作,也是当下最热门的新技术,AR技术.笔者之前一直是做iOS开发的,接触了一门全新的技术,兴奋了好久好久,笔者也 ...

  7. asp.net MVC helper 和自定义函数@functions小结

    asp.net Razor 视图具有.cshtml后缀,可以轻松的实现c#代码和html标签的切换,大大提升了我们的开发效率.但是Razor语法还是有一些棉花糖值得我们了解一下,可以更加强劲的提升我们 ...

  8. C#中 @ 的3种用途

    1.忽略转义字符例如string fileName = "D:\\文本文件\\text.txt";使用@后string fileName = @"D:\文本文件\text ...

  9. sessionPageState与视图状态存储

    这个配置节甚是简单,在MSDN中的介绍也甚是简单:为 ASP.NET 应用程序配置页的视图状态设置. historySize的作用是设置要存储在页历史记录中的项数. 但是这根本是看不明白他是干嘛的,百 ...

  10. 【C#】 异常处理

    异常是在程序执行期间出现的问题.C# 中的异常是对程序运行时出现的特殊情况的一种响应,比如尝试除以零等异情况. 异常提供了一种把程序控制权从某个部分转移到另一个部分的方式. C# 异常处理时建立在四个 ...