Python爬虫入门：爬取豆瓣电影TOP250

一个很简单的爬虫。

从这里学习的，解释的挺好的：https://xlzd.me/2015/12/16/python-crawler-03

分享写这个代码用到了的学习的链接：

BeautifulSoup官方文档

requests文档

codecs

with……as……的解释

.join函数

.format函数

其他的一些东西在代码里面有详细注释。

 # encoding = utf-8
 import codecs
 import requests
 from bs4 import BeautifulSoup

 # 爬取豆瓣电影TOP250

 DOWNLOADURL = 'https://movie.douban.com/top250'

 def download_page(url): # 向服务器发送请求下载得到html
     headers = {'User-Agent': 'Mozilla/4.0(compatibel; MSIE 5.5; Windows NT)'} # 伪装成浏览器
     data = requests.get(url, headers=headers).content
     return data # 返回得到的html代码

 def parse_html(html): # 解析网页
     soup = BeautifulSoup(html, 'lxml') # 创建一个BeautifulSoup对象
     movie_list_soup = soup.find('ol', attrs={'class': 'grid_view'}) # 定位

     name_list = []
     for movie_li in movie_list_soup.find_all('li'): # 找到电影名字
         detail = movie_li.find('div', attrs={'class', 'hd'})
         movie_name = detail.find('span', attrs={'class', 'title'}).getText()
         name_list.append(movie_name) # 放到一个list里面

     have_next = soup.find('span', attrs={'class': 'next'}).find('a') # 找下一页的链接
     if have_next: # 如果有下一页的链接不为空
         return name_list, DOWNLOADURL + have_next['href'] # 返回名字列表还有下一页的URL
     else:
         return name_list, None # 找不到返回None

 def main():
     url = DOWNLOADURL
     # with xxx.open as f 打开xxx之后finally关闭xxx
     # codecs方便处理中文编码
     with codecs.open('douban_movies', 'wb', encoding='utf-8') as fp:
         while url:
             html = download_page(url)
             name_list, url = parse_html(html)
             #'\n'.join(name_list) : 以'\n'为分隔符将name_list所有元素合并成一个新的字符串
             #'{movies}'.format(movies='xxxxx') : 即movies = 'xxxxx',将xxxxx按照格式输出
             fp.write(u'{movies}\n'.format(movies='\n'.join(name_list)))

 if __name__ == '__main__':
     main()