005 爬虫（requests与beautifulSoup库的使用）

一：知识点

1.安装requests库

　　

2.Brautiful soup

　　可以提供一些简单的，python式的函数来处理导航，搜索，修改分析树等功能。

　　她是一个工具箱，通过解析文档为用户提供需要抓去的数据。

　　自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。

　　现在是使用Beautiful Soup4，不过现在已经被移植到BS4了，即导入需要导入bs4。

3.导入

　　pip install beautifulsoup4

　　

4.创建Beautiful Soup对象

　　导入bs4库

　　　　from bs4 import BeautifulSoup

　　创建：

　　　　soup=BeautifulSoup（html）

5.程序

 import requests
 from bs4 import BeautifulSoup
 r=requests.get("http://www.baidu.com",headers={'User-Agent':'Mozilla/4.0'})
 soup=BeautifulSoup(r.text,"html.parser")
 print soup.prettify()

6.打印soup的内容

　　print soup.prettify()

7.四大对象种类

　　Beautiful Soup将复杂的HTML文档转换成一个复杂的树形结构，每个节点都是Python对象，将所有的对象归纳为四种。

　　　　BeautifulSoup

　　　　Tag

　　　　NavigableString

　　　　Comment

8.BeautifulSoup

　　对象表示是一个文档的全部内容，大部分的时候，可以将它当作Tag对象，是一个特殊的Tag，我们可以获取它的类型，名称，以及属性。

　　soup.name

　　soup.attrs

9.Tag的使用

　　找到的是第一个，后面的都没显示。

　　soup.title.name

　　soup.title.attrs

　　soup.meta['content']

　　soup.meta.get('content')

 import requests
 from bs4 import BeautifulSoup
 r=requests.get("http://www.baidu.com",headers={'User-Agent':'Mozilla/4.0'})
 soup=BeautifulSoup(r.text,"html.parser")
 print soup.title
 print soup.meta

效果：

　　<title>百度一下，你就知道</title>
　　<meta content="text/html;charset=utf-8" http-equiv="content-type"/>

10.NavigableString

　　获取标签内部的文字。

　　soup.标签名.string

 import requests
 from bs4 import BeautifulSoup
 r=requests.get("http://www.baidu.com",headers={'User-Agent':'Mozilla/4.0'})
 soup=BeautifulSoup(r.text,"html.parser")
 print soup.title.string

效果：

　　百度一下，你就知道

11.Comment

　　是一个特殊类型的NavigableString对象，其实输出的内容仍然不包含注释符号。

12.常用方法（过滤）

　　name

　　attrs

　　text

　　limit

　　recursive：要不要搜索子孙节点。

　　

13.常用方法

　　find_all

　　find

　　.contents     .children

　　.descendants

　　.string

　　.parent

　　.next_sibling

　　next_elements     .previous_elements

14.程序

 import requests
 from bs4 import BeautifulSoup
 r=requests.get("http://www.baidu.com",headers={'User-Agent':'Mozilla/4.0'})
 soup=BeautifulSoup(r.text,"html.parser")
 print soup.script.parent
 print soup.title.string

二：案例

1.网址

　　https://movie.douban.com/top250?start=0&filter=

　　

2.程序

 #encoding=utf-8
 import requests
 from bs4 import BeautifulSoup
 import re
 import xlwt

 #创建全局变量，保存电影信息
 dataList=[]

 #根据地址和开始行获取网页的文本内容
 def getHtmlTest(url,startRow):
     #头部筛选函数
     if(startRow==0):
         param={}
     else:
         param={'start':startRow,'filter':''}
     #获取网页
     r=requests.get(url,params=param,headers={'User-Agent':'Mozilla/4.0'})
     return r.text

 #创建函数将传入的文本解析获取所需要的数据
 def getData(html):
     soup=BeautifulSoup(html,'html.parser')
     #获取class为grid_view的ol下面的所有列表
     movieList=soup.find('ol',attrs={'class':'grid_view'})
     #遍历查找内容
     for movieLi in movieList.find_all('li'):
         data=[]
         #获取电影名称
         movieHd=movieLi.find('div',attrs={'class':'hd'})
         movieName=movieHd.find('span',attrs={'class':'title'}).getText()
         data.append(movieName)

         #电影分数
         movieScore=movieLi.find('span',attrs={'class':'rating_num'}).getText()
         data.append(movieScore)

         #电影评价人数
         movieEval=movieLi.find('div',attrs={'class':'star'})
         movieEvalNum=re.findall(r'\d+',str(movieEval))[-1]
         data.append(movieEvalNum)

         #电影评价
         movieQuote=movieLi.find('span',attrs={'class','inq'})
         if(movieQuote):
             data.append(movieQuote.getText())
         else:
             data.append("无影评信息")

         #添加到全局变量中
         dataList.append(data)
     return

 #保存到excel
 def saveData(savePath):
     book=xlwt.Workbook(encoding='utf-8')
     sheet=book.add_sheet('前250名的电影信息')
     col=(u'电影名称',u'电影评分',u'评论人数',u'短评')
     for i in range(0,4):
         sheet.write(0,i,col[i])
     for i in range(0,250):
         data=dataList[i]
         for j in range(0,4):
             sheet.write(i+1,j,data[j])
     book.save(savePath)
     return

 #创建主函数
 def mainFunc():
     url='https://movie.douban.com/top250'
     startRow=0
     while startRow<250:
         html=getHtmlTest(url,startRow)
         getData(html)
         startRow += 25
     saveData('movieData.xls')
     return

 #测试
 mainFunc()

3.效果

　　

　　

·