python：BeautifulSoup学习

上一篇说到用BeautifulSoup解析源代码，下面我们就来实战一下：

 from bs4 import BeautifulSoup
 html = urllib.request.urlopen('http://www.massey.ac.nz/massey/learning/programme-course/programme.cfm?prog_id=93536')
 html = html.read().decode('utf-8')
 soup = BeautifulSoup(html)
 """
 or you can do:
     soup = BeautifulSoup(open('F:\\forpython\\Master of Counselling Studies (MCounsStuds) - 2017 - Massey University.html',encoding = 'utf-8'))
 """
 soup.find_all('h1')
 soup.h1.get_text()

其实用open的方式可以避免decode报错，可以的话还是用open比较好。运行结果：

 soup.find_all('h1')
 Out[76]: [<h1>Master of Advanced Leadership Practice (<span>MALP</span>)</h1>]

噌~是不是快了许多，还有更快的：

 soup.h1.get_text()
 Out[75]: 'Master of Advanced Leadership Practice (MALP)'

h1其实是一个标签，用BeautifulSoup解析过后可以直接引用，下面我们直接引用title标签（学过html的同学会知道title标签）

 soup.title
 Out[79]: <title>Master of Advanced Leadership Practice (MALP) - 2017 - Massey University</title>

接下来我们用BeautifulSoup帮助我们爬一张图片：

右键单击，选择‘检查’（我用的Google浏览器）

通过右边的elements一步一步的查找图片所在的源代码（你把鼠标放在源代码上会显现相应的位置）

看到了吧，在<div,class="block block-feature-image">下，我们使用BeautifulSoup开始撸：

 a = soup.find('div',{'class':"block block-feature-image"}).figure.img.attrs['src']
 # soup.figure.img.attrs['src'] 这样也可以
 a
 Out[129]: '/massey/fms/Study/StudyAtMassey/Images/prog_images/93059.jpg'

attrs是属性的意思，img.attrs['src']就是调出img对象src的属性值（这个语法我也不是很懂，好像是xpath的语法）。再把网址的头添加上去，写入本地文件：

 a1 = 'http://www.massey.ac.nz'+a
 pic = urllib.request.urlopen(a1).read()
 pic_data=open('F:/1.jpg','wb')
 pic_data.write(pic)
 pic_data.close()

搞定