配置python 2.7

    bs4

    requests

安装 用pip进行安装 sudo pip install bs4

sudo pip install requests

简要说明一下bs4的使用因为是爬取网页 所以就介绍find 跟find_all

find跟find_all的不同在于返回的东西不同 find返回的是匹配到的第一个标签及标签里的内容

find_all返回的是一个列表

比如我们写一个test.html 用来测试find跟find_all的区别。内容是：

<html>

<head>

</head>

<body>

<div id="one"><a></a></div>

<div id="two"><a href="#">abc</a></div>

<div id="three"><a href="#">three a</a><a href="#">three a</a><a href="#">three a</a></div>

<div id="four"><a href="#">four<p>four p</p><p>four p</p><p>four p</p> a</a></div>

</body>

</html>

然后test.py的代码为：

from bs4 import BeautifulSoup

import lxml

if __name__=='__main__':

  s = BeautifulSoup(open('test.html'),'lxml')

  print s.prettify()

  print "------------------------------"

  print s.find('div')

  print s.find_all('div')

  print "------------------------------"

  print s.find('div',id='one')

  print s.find_all('div',id='one')

  print "------------------------------"

  print s.find('div',id="two")

  print s.find_all('div',id="two")

  print "------------------------------"

  print s.find('div',id="three")

  print s.find_all('div',id="three")

  print "------------------------------"

  print s.find('div',id="four")

  print s.find_all('div',id="four")

  print "------------------------------"

运行以后我们可以看到结果当获取指定标签时候两者区别不大当获取一组标签的时候两者的区别就会显示出来

所以我们在使用时候要注意到底要的是什么，否则会出现报错

接下来就是通过requests 获取网页信息了，我不太懂别人为什么要写heard跟其他的东西

我直接进行网页访问，通过get方式获取散文网几个分类的二级网页然后通过一个组的测试，把所有的网页爬取一遍

def get_html():

  url = "https://www.sanwen.net/"

  two_html = ['sanwen','shige','zawen','suibi','rizhi','novel']

  for doc in two_html:

	  i=1

          if doc=='sanwen':

            print "running sanwen -----------------------------"

          if doc=='shige':

            print "running shige ------------------------------"

          if doc=='zawen':

            print 'running zawen -------------------------------'

          if doc=='suibi':

            print 'running suibi -------------------------------'

          if doc=='rizhi':

            print 'running ruzhi -------------------------------'

          if doc=='nove':

            print 'running xiaoxiaoshuo -------------------------'

	  while(i<10):

	    par = {'p':i}

	    res = requests.get(url+doc+'/',params=par)

	    if res.status_code==200:

	      soup(res.text)

              i+=i

这部分的代码中我没有对res.status_code不是200的进行处理，导致的问题是会不显示错误，爬取的内容会有丢失。然后分析散文网的网页，发现是www.sanwen.net/rizhi/&p=1

p最大值是10这个不太懂，上次爬盘多多是100页，算了算了以后再分析。然后就通过get方法获取每页的内容。

获取每页内容以后就是分析作者跟题目了代码是这样的

def soup(html_text):

  s = BeautifulSoup(html_text,'lxml')

  link = s.find('div',class_='categorylist').find_all('li')

  for i in link:

    if i!=s.find('li',class_='page'):

      title = i.find_all('a')[1]

      author = i.find_all('a')[2].text

      url = title.attrs['href']

      sign = re.compile(r'(//)|/')

      match = sign.search(title.text)

      file_name = title.text

      if match:

        file_name = sign.sub('a',str(title.text))

获取标题的时候出现坑爹的事，请问大佬们写散文你标题加斜杠干嘛，不光加一个还有加两个的，这个问题直接导致我后面写入文件的时候文件名出现错误，于是写正则表达式，我给你改行了吧。

最后就是获取散文内容了，通过每页的分析，获得文章地址，然后直接获取内容，本来还想直接通过改网页地址一个一个的获得呢，这样也省事了。

def get_content(url):

  res = requests.get('https://www.sanwen.net'+url)

  if res.status_code==200:

    soup = BeautifulSoup(res.text,'lxml')

    contents = soup.find('div',class_='content').find_all('p')

    content = ''

    for i in contents:

      content+=i.text+'\n'

    return content

最后就是写入文件保存ok

      f = open(file_name+'.txt','w')

      print 'running w txt'+file_name+'.txt'

      f.write(title.text+'\n')

      f.write(author+'\n')

      content=get_content(url)

      f.write(content)

      f.close()

三个函数获取散文网的散文，不过有问题，问题在于不知道为什么有些散文丢失了我只能获取到大概400多篇文章，这跟散文网的文章是差很多很多的，但是确实是一页一页的获取来的，这个问题希望大佬帮忙看看。可能应该做网页无法访问的处理，当然我觉得跟我宿舍这个破网有关系

      f = open(file_name+'.txt','w')

      print 'running w txt'+file_name+'.txt'

      f.write(title.text+'\n')

      f.write(author+'\n')

      content=get_content(url)

      f.write(content)

      f.close()

差点忘了效果图

能会出现timeout现象吧，只能说上大学一定要选网好的啊！

每天进步一点点，希望坏狗狗能离我远一点。。。。。

Python爬取散文网散文的更多相关文章

  1. python爬取当当网的书籍信息并保存到csv文件

    python爬取当当网的书籍信息并保存到csv文件 依赖的库: requests #用来获取页面内容 BeautifulSoup #opython3不能安装BeautifulSoup,但可以安装Bea ...

  2. 使用python爬取东方财富网机构调研数据

    最近有一个需求,需要爬取东方财富网的机构调研数据.数据所在的网页地址为: 机构调研 网页如下所示: 可见数据共有8464页,此处不能直接使用scrapy爬虫进行爬取,因为点击下一页时,浏览器只是发起了 ...

  3. [转]使用python爬取东方财富网机构调研数据

    最近有一个需求,需要爬取东方财富网的机构调研数据.数据所在的网页地址为: 机构调研 网页如下所示: 可见数据共有8464页,此处不能直接使用scrapy爬虫进行爬取,因为点击下一页时,浏览器只是发起了 ...

  4. Python 爬取赶集网租房信息

    代码已久,有可能需要调整 #coding:utf-8 from bs4 import BeautifulSoup #有这个bs4不用正则也可以定位要爬取的内容了 from urlparse impor ...

  5. 利用python爬取贝壳网租房信息

    最近准备换房子,在网站上寻找各种房源信息,看得眼花缭乱,于是想着能否将基本信息汇总起来便于查找,便用python将基本信息爬下来放到excel,这样一来就容易搜索了. 1. 利用lxml中的xpath ...

  6. python爬取返利网中值得买中的数据

    先使用以前的方法将返利网的数据爬取下来,scrapy框架还不熟练,明日再战scrapy 查找目标数据使用的是beautifulsoup模块. 1.观察网页,寻找规律 打开值得买这块内容 1>分析 ...

  7. Python爬取前程无忧网站上python的招聘信息

    前言 文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 作者: 我姓刘却留不住你的心 PS:如有需要Python学习资料的小伙伴可以 ...

  8. Python爬虫之爬取慕课网课程评分

    BS是什么? BeautifulSoup是一个基于标签的文本解析工具.可以根据标签提取想要的内容,很适合处理html和xml这类语言文本.如果你希望了解更多关于BS的介绍和用法,请看Beautiful ...

  9. Python学习-使用Python爬取陈奕迅新歌《我们》网易云热门评论

    <后来的我们>上映也有好几天了,一直没有去看,前几天还爆出退票的事件,电影的主题曲由陈奕迅所唱,特地找了主题曲<我们>的MV看了一遍,还是那个感觉.那天偶然间看到Python中 ...

  10. Python爬取中国天气网

    Python爬取中国天气网 基于requests库制作的爬虫. 使用方法:打开终端输入 “python3 weather.py 北京(或你所在的城市)" 程序正常运行需要在同文件夹下加入一个 ...

随机推荐

  1. Python3.7.4入门-3函数

    3 函数 3.1 定义函数 def fib(n): # write Fibonacci series up to n """Print a Fibonacci serie ...

  2. 暑期——第四周总结（Ubuntu系统安装新版eclipse双击无法打开问题 【已解决】）

    所花时间:7天 代码行:200(python)+3000(java) 博客量:1篇 了解到知识点 : Ubuntu安装新eclipse 在通过软件中心安装好eclipse之后,发现各种东西都不顺眼,不 ...

  3. Java查询判断素数实验报告

    实验源代码: package sushu; import java.util.Scanner; public class First { int size=2; int data[]=new int[ ...

  4. Gradle 梳理 - 插件

    Gradle 教程:第二部分,JAVA PROJECTS[翻译]   原文地址:http://rominirani.com/2014/07/28/gradle-tutorial-part-2-java ...

  5. Cisco路由器基本使用

    作者:小啊博 QQ:762641008 转载请声明URL:https://www.cnblogs.com/-bobo/ 一.路由器命令行使用 router>                    ...

  6. Mysql的表级锁和行级锁

    表级锁 MySQL表级锁分为读锁和写锁. 读锁 用法:LOCK TABLE table_name [ AS alias_name ] READ 释放锁使用UNLOCK tables.可以为表使用别名, ...

  7. Vue-cli连接mysql

    本文把前后台一起串起来,前端使用vue-cli后台用nodejs连接数据库,vue-cli请求接口其数据是来自于mysql数据. 一.vue-cli请求接口部分 <template> &l ...

  8. C++常用库函数（1）

    Hello,疯狂的杰克由于大家见面了哦! 今天,给大家介绍一篇很有内涵的文章:C++常用库函数 1.缓冲区操作函数 函数名:memchr 函数原型:void  *memchr(const void * ...

  9. Logrotate配置

    目录 Logrotate配置 参考 Logrotate Description Logrotate Configuration Logrotate配置

  10. 列表 元祖 range

    1.列表 list 存放一些数据的容器 比如 衣柜 书包 作用:存储一些数据,数据量比较大 可以下标 可以切片 可以步长 和字符串的完全一样 lst = [1,2,3] print(lst) #[1, ...