爬虫框架：开发平台 centos6.7 根据慕课网爬虫教程编写代码 片区百度百科url，标题，内容

分为4个模块:html_downloader.py 下载器
html_outputer.py 爬取数据生成html模块
html_parser 获取有用数据
url_manager url管理器
spider_main 爬虫启动代码
 
spider_main.py
 #!/usr/bin/python

 #-*- coding: utf8 -*-

 import html_downloader

 import html_outputer

 import html_parser

 import url_manager

 class SpiderMain(object):

     def __init__(self):

         #初始化url管理器

         self.urls = url_manager.UrlManager()

         #初始化url下载器

         self.downloader = html_downloader.HtmlDownloader()

         #初始化url解析器

         self.parser = html_parser.HtmlParser()

         #初始化url输出

         self.outputer = html_outputer.HtmlOutputer()

     def craw(self, root_url):

         count = 1

         #url管理器中添加一个new url

         self.urls.add_new_url(root_url)

         #判断是否有新的URL 开始爬取

         while self.urls.has_new_url():

             try:

                 #得到新的url

                 new_url = self.urls.get_new_url()

                 print 'craw %d : %s' % (count, new_url)

                 #下载新的url的数据

                 html_cont = self.downloader.download(new_url)

                 #解析出来url的内容和地址

                 new_urls, new_data = self.parser.parse(new_url, html_cont)

                 #新的url补充进url管理器

                 self.urls.add_new_urls(new_urls)

                 #输出数据

                 self.outputer.collect_data(new_data)

                 if count == 1001:

                     break

                 count = count + 1

                 print count

             except:

html_parser.py

 #!/bin/usr/python

 #-*- coding:utf8 -*-

 from bs4 import BeautifulSoup

 import re

 import urlparse

 class HtmlParser(object):

     '''

     解析器

     '''

     def _get_new_urls(self, page_url, soup):

         new_urls = set()

         links = soup.find_all('a', href=re.compile(r"/view/\d+\.htm"))

         for link in links:

             new_url = link['href']

             new_full_url = urlparse.urljoin(page_url, new_url)

             new_urls.add(new_full_url)

         return new_urls

     def _get_new_data(self, page_url, soup):

         res_data = {}

         res_data['url'] = page_url

         title_node = soup.find('dd', class_="lemmaWgt-lemmaTitle-title").find('h1')

         res_data['title'] = title_node.get_text()

         summary_node = soup.find('div', class_="lemma-summary")

         res_data['summary'] = summary_node.get_text()

         print res_data['summary']

         return res_data

     def parse(self, page_url, html_cont):

         if page_url is None or html_cont is None:

             return 

         soup = BeautifulSoup(html_cont, 'html.parser', from_encoding='utf-8')

         new_urls = self._get_new_urls(page_url, soup)

         new_data = self._get_new_data(page_url, soup)

         print new_data

         return new_urls, new_data

html_outputer.py

 #!/usr/bin/python

 #-*- coding:utf8 -*-

 class HtmlOutputer(object):

     def __init__(self):

         self.datas = []

     def collect_data(self, data):

         if data is None:

             return

         self.datas.append(data)

     def output_html(self):

         fout = open('output.html', 'w')

         fout.write("<html>")

         fout.write("<body>")

         fout.write("<head>")

         fout.write('<meta charset="utf-8">')

         fout.write("</head>")

         fout.write("<table>")

         for data in self.datas:

             fout.write("<tr>")

             fout.write("<td>%s</td>" % data['url'])

             fout.write("<td>%s</td>" % data['title'].encode('utf-8'))

             fout.write("<td>%s</td>" % data['summary'].encode('utf-8'))

             fout.write("</tr>")

         fout.write("</table>")

         fout.write("</body>")

         fout.write("</html>")

         fout.close()

html_downloader.py

 #!/usr/bin/python

 #-*- coding:utf8 -*-

 import urllib2

 class HtmlDownloader(object):

     '''

     下载器

     '''

     def download(self, url):

         if url is None:

             return None

         response = urllib2.urlopen(url)

         if response.getcode() != 200:

             print '请求失败'

             return None

         return response.read()

url_manager.py

 #!/usr/bin/python

 #-*- coding:utf8 -*-

 class UrlManager(object):

     '''

     url管理器

     '''

     def __init__(self):

         self.new_urls = set()

         self.old_urls = set()

     def add_new_url(self, url):

         if url is None:

             return

         if url not in self.new_urls and url not in self.old_urls:

             self.new_urls.add(url)

     def has_new_url(self):

         if len(self.new_urls) != 0:

             return len(self.new_urls)

         else:

             print '没有新的url'

     def get_new_url(self):

         new_url = self.new_urls.pop()

         self.old_urls.add(new_url)

         return new_url

     def add_new_urls(self, urls):

         if urls is None or len(urls) == 0:

             return

         for url in urls:

             self.add_new_url(url)

python爬虫—爬取百度百科数据的更多相关文章

  1. python爬虫-爬取百度图片

    python爬虫-爬取百度图片(转) #!/usr/bin/python# coding=utf-8# 作者 :Y0010026# 创建时间 :2018/12/16 16:16# 文件 :spider ...

  2. Python爬虫 - 爬取百度html代码前200行

    Python爬虫 - 爬取百度html代码前200行 - 改进版,  增加了对字符串的.strip()处理 源代码如下: # 改进版, 增加了 .strip()方法的使用 # coding=utf-8 ...

  3. 写一个python 爬虫爬取百度电影并存入mysql中

    目标是利用python爬取百度搜索的电影 在类型 地区 年代各个标签下 电影的名字 评分 和图片连接 以及 电影连接 首先我们先在mysql中建表 create table liubo4( id in ...

  4. python爬虫-爬取豆瓣电影数据

    #!/usr/bin/python# coding=utf-8# 作者 :Y0010026# 创建时间 :2018/12/16 16:27# 文件 :spider_05.py# IDE :PyChar ...

  5. python简单爬虫爬取百度百科python词条网页

    目标分析:目标:百度百科python词条相关词条网页 - 标题和简介 入口页:https://baike.baidu.com/item/Python/407313 URL格式: - 词条页面URL:/ ...

  6. Python爬虫爬取百度翻译之数据提取方法json

    工具:Python 3.6.5.PyCharm开发工具.Windows 10 操作系统 说明:本例为实现输入中文翻译为英文的小程序,适合Python爬虫的初学者一起学习,感兴趣的可以做英文翻译为中文的 ...

  7. Python爬虫爬取百度贴吧的帖子

    同样是参考网上教程,编写爬取贴吧帖子的内容,同时把爬取的帖子保存到本地文档: #!/usr/bin/python#_*_coding:utf-8_*_import urllibimport urlli ...

  8. Python爬虫爬取百度贴吧的图片

    根据输入的贴吧地址,爬取想要该贴吧的图片,保存到本地文件夹,仅供参考: #!/usr/bin/python#_*_coding:utf-8_*_import urllibimport urllib2i ...

  9. python爬虫爬取赶集网数据

    一.创建项目 scrapy startproject putu 二.创建spider文件 scrapy genspider  patubole patubole.com   三.利用chrome浏览器 ...

随机推荐

  1. Java内存模型深度解析：重排序 --转

    原文地址:http://www.codeceo.com/article/java-memeory-2.html 数据依赖性 如果两个操作访问同一个变量,且这两个操作中有一个为写操作,此时这两个操作之间 ...

  2. Opencv VideoCapture实时捕捉摄像头信息

    #include "opencv2/highgui/highgui.hpp" #include <iostream> using namespace cv; using ...

  3. 如何用easyui+JAVA 实现动态拼凑datagrid表格

    先给大家看一看效果,最近一段时间都在研究这个东西. 如果我把日期间隔选宽呢?比如5月日到5月5日?下面给大家看看效果,不用担心哦 看到了吧,哈哈,这个日期都是动态生成的,下面就来跟大家分享一下这个的实 ...

  4. 我的Node.js处女作

    前言 很高兴我的node.js处女作开发完成了,目前还在优化完善阶段,经历两周的紧张沟通和开发,工作总算搞一段落.选用node.js 一是因为这次的业务逻辑相对来说简单想拿node练练手,二就是相对来 ...

  5. jQuery方法position()与offset()区别

    参考别人写得比较明白的,红色部分为重点吧: 使用jQuery获取元素位置时,我们会使用position()或offset()方法,两个方法都返回一个包含两个属性的对象-左边距和上边距,它们两个的不同点 ...

  6. ADO.net 更新和插入数据 遇到null 执行不成功

    首先交代下背景,遇到一个问题:SqlCommand新增记录时,参数为null时,运行并不报错,只是返回(0),也就是更新失败. 在用C#往数据库里面插入记录的时候, 可能有的字段我们并不赋值(有可能是 ...

  7. jQuery-1.9.1源码分析系列（六） 延时对象

    首先我们需要明白延时对象有什么用? 第一个作用,解决时序以及动态添加执行函数的问题. function a(){alert(1)}; function b(){alert(2)}; function ...

  8. 11.Configure Many-to-Many（配置多对多关系）【Code-First系列】

    现在学习EF Code-First多对多的配置. 这里我们举例:学生和班级实体,一个学生可以选修多个课程,多个学生也可以选修同一个课程. 一.使用数据注解特性,配置多对多的关系 using Syste ...

  9. Rafy 领域实体框架演示(3) - 快速使用 C/S 架构部署

    本系列演示如何使用 Rafy 领域实体框架快速转换一个传统的三层应用程序,并展示转换完成后,Rafy 带来的新功能. <福利到!Rafy(原OEA)领域实体框架 2.22.2067 发布!> ...

  10. MySQL 快速创建索引

    用SELECT INTO OUTFILE导出记录,TRUNCATE 此TABLE,建立索引,用LOAD DATA INIFILE再导入 缺点:不支持热操作