爬虫框架：开发平台 centos6.7 根据慕课网爬虫教程编写代码 片区百度百科url，标题，内容

分为4个模块:html_downloader.py 下载器
html_outputer.py 爬取数据生成html模块
html_parser 获取有用数据
url_manager url管理器
spider_main 爬虫启动代码
 
spider_main.py
 #!/usr/bin/python

 #-*- coding: utf8 -*-

 import html_downloader

 import html_outputer

 import html_parser

 import url_manager

 class SpiderMain(object):

     def __init__(self):

         #初始化url管理器

         self.urls = url_manager.UrlManager()

         #初始化url下载器

         self.downloader = html_downloader.HtmlDownloader()

         #初始化url解析器

         self.parser = html_parser.HtmlParser()

         #初始化url输出

         self.outputer = html_outputer.HtmlOutputer()

     def craw(self, root_url):

         count = 1

         #url管理器中添加一个new url

         self.urls.add_new_url(root_url)

         #判断是否有新的URL 开始爬取

         while self.urls.has_new_url():

             try:

                 #得到新的url

                 new_url = self.urls.get_new_url()

                 print 'craw %d : %s' % (count, new_url)

                 #下载新的url的数据

                 html_cont = self.downloader.download(new_url)

                 #解析出来url的内容和地址

                 new_urls, new_data = self.parser.parse(new_url, html_cont)

                 #新的url补充进url管理器

                 self.urls.add_new_urls(new_urls)

                 #输出数据

                 self.outputer.collect_data(new_data)

                 if count == 1001:

                     break

                 count = count + 1

                 print count

             except:

html_parser.py

 #!/bin/usr/python

 #-*- coding:utf8 -*-

 from bs4 import BeautifulSoup

 import re

 import urlparse

 class HtmlParser(object):

     '''

     解析器

     '''

     def _get_new_urls(self, page_url, soup):

         new_urls = set()

         links = soup.find_all('a', href=re.compile(r"/view/\d+\.htm"))

         for link in links:

             new_url = link['href']

             new_full_url = urlparse.urljoin(page_url, new_url)

             new_urls.add(new_full_url)

         return new_urls

     def _get_new_data(self, page_url, soup):

         res_data = {}

         res_data['url'] = page_url

         title_node = soup.find('dd', class_="lemmaWgt-lemmaTitle-title").find('h1')

         res_data['title'] = title_node.get_text()

         summary_node = soup.find('div', class_="lemma-summary")

         res_data['summary'] = summary_node.get_text()

         print res_data['summary']

         return res_data

     def parse(self, page_url, html_cont):

         if page_url is None or html_cont is None:

             return 

         soup = BeautifulSoup(html_cont, 'html.parser', from_encoding='utf-8')

         new_urls = self._get_new_urls(page_url, soup)

         new_data = self._get_new_data(page_url, soup)

         print new_data

         return new_urls, new_data

html_outputer.py

 #!/usr/bin/python

 #-*- coding:utf8 -*-

 class HtmlOutputer(object):

     def __init__(self):

         self.datas = []

     def collect_data(self, data):

         if data is None:

             return

         self.datas.append(data)

     def output_html(self):

         fout = open('output.html', 'w')

         fout.write("<html>")

         fout.write("<body>")

         fout.write("<head>")

         fout.write('<meta charset="utf-8">')

         fout.write("</head>")

         fout.write("<table>")

         for data in self.datas:

             fout.write("<tr>")

             fout.write("<td>%s</td>" % data['url'])

             fout.write("<td>%s</td>" % data['title'].encode('utf-8'))

             fout.write("<td>%s</td>" % data['summary'].encode('utf-8'))

             fout.write("</tr>")

         fout.write("</table>")

         fout.write("</body>")

         fout.write("</html>")

         fout.close()

html_downloader.py

 #!/usr/bin/python

 #-*- coding:utf8 -*-

 import urllib2

 class HtmlDownloader(object):

     '''

     下载器

     '''

     def download(self, url):

         if url is None:

             return None

         response = urllib2.urlopen(url)

         if response.getcode() != 200:

             print '请求失败'

             return None

         return response.read()

url_manager.py

 #!/usr/bin/python

 #-*- coding:utf8 -*-

 class UrlManager(object):

     '''

     url管理器

     '''

     def __init__(self):

         self.new_urls = set()

         self.old_urls = set()

     def add_new_url(self, url):

         if url is None:

             return

         if url not in self.new_urls and url not in self.old_urls:

             self.new_urls.add(url)

     def has_new_url(self):

         if len(self.new_urls) != 0:

             return len(self.new_urls)

         else:

             print '没有新的url'

     def get_new_url(self):

         new_url = self.new_urls.pop()

         self.old_urls.add(new_url)

         return new_url

     def add_new_urls(self, urls):

         if urls is None or len(urls) == 0:

             return

         for url in urls:

             self.add_new_url(url)

python爬虫—爬取百度百科数据的更多相关文章

  1. python爬虫-爬取百度图片

    python爬虫-爬取百度图片(转) #!/usr/bin/python# coding=utf-8# 作者 :Y0010026# 创建时间 :2018/12/16 16:16# 文件 :spider ...

  2. Python爬虫 - 爬取百度html代码前200行

    Python爬虫 - 爬取百度html代码前200行 - 改进版,  增加了对字符串的.strip()处理 源代码如下: # 改进版, 增加了 .strip()方法的使用 # coding=utf-8 ...

  3. 写一个python 爬虫爬取百度电影并存入mysql中

    目标是利用python爬取百度搜索的电影 在类型 地区 年代各个标签下 电影的名字 评分 和图片连接 以及 电影连接 首先我们先在mysql中建表 create table liubo4( id in ...

  4. python爬虫-爬取豆瓣电影数据

    #!/usr/bin/python# coding=utf-8# 作者 :Y0010026# 创建时间 :2018/12/16 16:27# 文件 :spider_05.py# IDE :PyChar ...

  5. python简单爬虫爬取百度百科python词条网页

    目标分析:目标:百度百科python词条相关词条网页 - 标题和简介 入口页:https://baike.baidu.com/item/Python/407313 URL格式: - 词条页面URL:/ ...

  6. Python爬虫爬取百度翻译之数据提取方法json

    工具:Python 3.6.5.PyCharm开发工具.Windows 10 操作系统 说明:本例为实现输入中文翻译为英文的小程序,适合Python爬虫的初学者一起学习,感兴趣的可以做英文翻译为中文的 ...

  7. Python爬虫爬取百度贴吧的帖子

    同样是参考网上教程,编写爬取贴吧帖子的内容,同时把爬取的帖子保存到本地文档: #!/usr/bin/python#_*_coding:utf-8_*_import urllibimport urlli ...

  8. Python爬虫爬取百度贴吧的图片

    根据输入的贴吧地址,爬取想要该贴吧的图片,保存到本地文件夹,仅供参考: #!/usr/bin/python#_*_coding:utf-8_*_import urllibimport urllib2i ...

  9. python爬虫爬取赶集网数据

    一.创建项目 scrapy startproject putu 二.创建spider文件 scrapy genspider  patubole patubole.com   三.利用chrome浏览器 ...

随机推荐

  1. MySQL分区表的管理~1

    一.如何管理RANGE和LIST分区 以该分区表为例 CREATE TABLE members ( id INT, fname ), lname ), dob DATE ) PARTITION BY ...

  2. C语言 第五章 循环结构练习

    一.计算15+16+17 …98+99的和 for实现 #include "stdio.h" void main() { //15+16+17 …98+99 ; ;i<=;i ...

  3. 相克军_Oracle体系_随堂笔记007-PGA

    实际工作中,Oracle中有两个很重要:Server Process 和 PGA.   PGA内存作用和构成   1.PGA作用 2.PGA构成 1)private SQL area   2)Sess ...

  4. WebGIS中解决使用Lucene进行兴趣点搜索排序的两种思路

    文章版权由作者李晓晖和博客园共有,若转载请于明显处标明出处:http://www.cnblogs.com/naaoveGIS/. 1.背景 目前跟信息采集相关的一个项目提出了这样的一个需求:中国银行等 ...

  5. 理解JAVASCRIPT 闭包

    最近去面试了一家企业,结果非常灰心丧气,于是周末给自己定了一个目标 学好一门,学精通一门.不求多,只求懂. 最近看到一个概念“闭包”. 什么是闭包呢? 简单一点就是:看得到多和看得到少的区别. 上面这 ...

  6. jquery实现分页功能

    RT,不是很难,但是感觉代码一点都不简洁,就是多加点判断,直接上代码了. HTML部分: <div class = "container-fluid"> <div ...

  7. VS Code - Debugger for Chrome调试JavaScript的两种方式

    VS Code - Debugger for Chrome调试JavaScript的两种方式 最近由于出差的缘故,博客写的不是很多,一直想写一篇VS Code - Debugger for Chrom ...

  8. 【Debug】Web开发中，Tomcat正常启动，访问欢迎页404，怎么办？

    访问页面出现404是一个会经常遇到的问题.每次开发Web项目时总要掉这个坑里几次,而且还不长记性.今天来总结一下,开发时遇到这个问题的解决思路. 1. 查看访问地址是否正确,有无拼写错误. 越是低级的 ...

  9. HTML5网页打开摄像头，并拍照

    谷歌提高了安全要求,要摄像头必须用https 效果图:

  10. ActiveX（三）ActiveX 调用 Js

    在上一篇随笔: ActiveX(二)Js 监听 ActiveX中的事件  中,已经可以实现 Js 监听 ActiveX中的事件,至此.Js 和 ActiveX 已经可以实现双向通讯了.但是.这样的实现 ...