python_day04

今日内容：

一、爬虫三部曲：

1、发送请求

2.解析数据

3.保存数据

4、解析详情页，获取视频地址

mport requests
import re #正则模块
import uuid
#uuid.uuid4(),根据时间戳，生成一段世界上惟一的字符串
#导入线程池模块

#爬虫三部曲
#1.发送请求
def get_page(url):
    response=requests.get(url)
    return response
#2.解析数据
def parse_index(text):
    res = re.findall('<a href="video_(.*?)"', text, re.S)
    #print(res)
    detail_url_list=[]
    for m_id in res:
        # 拼接详情页url
        detail_url = "https://www.pearvideo.com/video_" + m_id
        detail_url_list.append(detail_url)
    return detail_url_list

#4.解析详情页，获取视频url
def parse_detail(text):
    movie_url=re.findall('srcUrl="(.*?)"',text,re.S)[0]
    return movie_url

#3.保存数据
# def save_movie(movie_url):
#   response=requests.get(movie_url)
#   with open(f'{uuid.uuid4()}.mp4','wb')as f:
#       f.write(response.content)
#       f.flush()
if __name__ == '__main__':
     #main+回车键

    index_res=get_page(url='https://www.pearvideo.com/')

    detail_url_list=parse_index(index_res.text)
    #print(detail_url_list)

    for detail_url in detail_url_list:
        detail_res=get_page(url=detail_url)
        movie_url=parse_detail(detail_res.text)
        print(movie_url)

        # save_movie(movie_url)

二、带参数的爬虫

# '''
# 知乎添加了反爬功能，需要添加参数使用user-agent
# '''
import requests
headers={'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36'
}
# #在get请求内添加user-agent
# response=requests.get(url='https://www.zhihu.com/explore',headers=headers)
# with open('zhihu.html','w',encoding='utf-8') as f:
#     f.write(response.text)

'''
params参数
访问百度搜查朴灿烈url
'''
from urllib.parse import urlencode
# url='https://www.baidu.com/s?ie=utf-8&f=3&rsv_bp=1&tn=02003390_3_hao_pg&wd=%E6%9C%B4%E7%81%BF%E7%83%88'
url='https://www.baidu.com/s?'+urlencode({'wd':'朴灿烈'})
print(url)
# response=requests.get(url,headers=headers,params={'百度':'安徽工程大学'})
# with open('gongcheng.html','w',encoding='utf-8')as f:
#     f.write(response.text)

三、爬取梨视频

'''
爬取梨视频（下面三条信息从浏览器中查看）

Request URL：
    https://www.pearvideo.com/

Request Method:
    GET

Request headers：
    user-agent: ***********

'''

import requests
import re     # 正则模块
import uuid    # uuid.uuid4()   可以根据当前时间戳随机产生成唯一的字符串

# 爬虫三部曲

# 1. 发送请求
def get_page(index_url):
    response1 = requests.get(index_url)
    return response1

# 2. 解析数据
# 解析主页获取视频页详情ID

def main_index(text):

    # 获取主页视频详情页ID
    res1 = re.findall('<a href="video_(.*?)"', text, re.S)

    detail_list1 = []

    for m_id in res1:

        # 拼接详情页url
        url1 = 'https://www.pearvideo.com/video_' + m_id
        detail_list1.append(url1)

    return detail_list1

# 3. 保存数据
def save_data(v_url):
    response2 = requests.get(v_url)

    with open('{}.mp4'.format(uuid.uuid4()), 'wb') as f:
        f.write(response2.content)
        f.flush()

# 解析详情页获取视频url
def video_detail(text):

    '''

        (.*?) : 提取括号的内容
        .*? : 直接匹配
        <video.*?src="(.*?)"

        srcUrl="(.*?)"
    '''

    video_url1 = re.findall('srcUrl="(.*?)"', text, re.S)[0]
    return video_url1

if __name__ == '__main__':

    # 对主页发送请求
    response = get_page('https://www.pearvideo.com/')

    # 对主页进行解析、获取详情页ID
    detail_list = main_index(response.text)

    # 对每个详情页url发送请求
    for url in detail_list:
        res = get_page(url)
        # print(res.text)

        #  解析详情页获取视频ID
        video_url = video_detail(res.text)
        print(video_url)

        # 保存视频
        save_data(video_url)

四、今日作业：

今日作业:
爬取豆瓣TOP250部电影信息:
    https://movie.douban.com/top250

    PS: 提取电影详情页url、图片链接、电影名称、
    电影评分、评价人数、导演、主演、电影上映时间、简介
代码：

import requests
import re
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36'}
zhengze = '<div class="item">.*?href="(.*?)">.*?src="(.*?)" .*?<span class="title">(.*?)</span>.*?导演: (.*?)<br>(.*?)&nbsp;.*?<span class="rating_num".*?>(.*?)</span>.*?<span>(.*?)人评价.*?<span class="inq">(.*?)</span>'

def get_every_page(url):

    response = requests.get(url, headers=headers)

    movie_content = re.findall(zhengze, response.text, re.S)

    for every_movie in movie_content:
        movie_url, movie_jpg, name, director, time, point, num, abstract = every_movie

        director1 = director.split('&n')[0]
        star = director.split('&n')[-1].split('主')[-1].split('演')[-1].split(':')[-1].lstrip()

        data = '名称：{}, 电影链接：{}, 图片：{}, 导演：{}, 主演：{}, 时间：{}, 得分：{},评论人数：{}， 简介：{}'.format(name, movie_url, movie_jpg, director1, star, time[-4:], point, num, abstract )

        with open('douban.txt', 'a', encoding='utf-8') as f:
            f.write(data + '\n')

if __name__ == '__main__':

    for i in range(0, 226, 25):
        url = f'https://movie.douban.com/top250?start={i}&filter='
        get_every_page(url)

展示了部分爬取信息：

名称：肖申克的救赎, 电影链接：https://movie.douban.com/subject/1292052/, 图片：https://img3.doubanio.com/view/photo/s_ratio_poster/public/p480747492.jpg, 导演：弗兰克·德拉邦特 Frank Darabont, 主演：蒂姆·罗宾斯 Tim Robbins /..., 时间：1994, 得分：9.6,评论人数：1450669， 简介：希望让人自由。
名称：霸王别姬, 电影链接：https://movie.douban.com/subject/1291546/, 图片：https://img3.doubanio.com/view/photo/s_ratio_poster/public/p1910813120.jpg, 导演：陈凯歌 Kaige Chen, 主演：张国荣 Leslie Cheung / 张丰毅 Fengyi Zha..., 时间：1993, 得分：9.6,评论人数：1074955， 简介：风华绝代。
名称：这个杀手不太冷, 电影链接：https://movie.douban.com/subject/1295644/, 图片：https://img3.doubanio.com/view/photo/s_ratio_poster/public/p511118051.jpg, 导演：吕克·贝松 Luc Besson, 主演：让·雷诺 Jean Reno / 娜塔莉·波特曼 ..., 时间：1994, 得分：9.4,评论人数：1321273， 简介：怪蜀黍和小萝莉不得不说的故事。
名称：阿甘正传, 电影链接：https://movie.douban.com/subject/1292720/, 图片：https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2559011361.jpg, 导演：罗伯特·泽米吉斯 Robert Zemeckis, 主演：汤姆·汉克斯 Tom Hanks / ..., 时间：1994, 得分：9.4,评论人数：1141443， 简介：一部美国近现代史。
名称：美丽人生, 电影链接：https://movie.douban.com/subject/1292063/, 图片：https://img3.doubanio.com/view/photo/s_ratio_poster/public/p510861873.jpg, 导演：罗伯托·贝尼尼 Roberto Benigni, 主演：罗伯托·贝尼尼 Roberto Beni..., 时间：1997, 得分：9.5,评论人数：669039， 简介：最美的谎言。
名称：泰坦尼克号, 电影链接：https://movie.douban.com/subject/1292722/, 图片：https://img3.doubanio.com/view/photo/s_ratio_poster/public/p457760035.jpg, 导演：詹姆斯·卡梅隆 James Cameron, 主演：莱昂纳多·迪卡普里奥 Leonardo..., 时间：1997, 得分：9.3,评论人数：1082415， 简介：失去的才是永恒的。
名称：千与千寻, 电影链接：https://movie.douban.com/subject/1291561/, 图片：https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2557573348.jpg, 导演：宫崎骏 Hayao Miyazaki, 主演：柊瑠美 Rumi Hîragi / 入野自由 Miy..., 时间：2001, 得分：9.3,评论人数：1068329， 简介：最好的宫崎骏，最好的久石让。
名称：辛德勒的名单, 电影链接：https://movie.douban.com/subject/1295124/, 图片：https://img3.doubanio.com/view/photo/s_ratio_poster/public/p492406163.jpg, 导演：史蒂文·斯皮尔伯格 Steven Spielberg, 主演：连姆·尼森 Liam Neeson..., 时间：1993, 得分：9.5,评论人数：595406， 简介：拯救一个人，就是拯救整个世界。
名称：盗梦空间, 电影链接：https://movie.douban.com/subject/3541415/, 图片：https://img3.doubanio.com/view/photo/s_ratio_poster/public/p513344864.jpg, 导演：克里斯托弗·诺兰 Christopher Nolan, 主演：莱昂纳多·迪卡普里奥 Le..., 时间：2010, 得分：9.3,评论人数：1141373， 简介：诺兰给了我们一场无法盗取的梦。
名称：忠犬八公的故事, 电影链接：https://movie.douban.com/subject/3011091/, 图片：https://img3.doubanio.com/view/photo/s_ratio_poster/public/p524964016.jpg, 导演：莱塞·霍尔斯道姆 Lasse Hallström, 主演：理查·基尔 Richard Ger..., 时间：2009, 得分：9.3,评论人数：756801， 简介：永远都不能忘记你所爱的人。
名称：机器人总动员, 电影链接：https://movie.douban.com/subject/2131459/, 图片：https://img3.doubanio.com/view/photo/s_ratio_poster/public/p1461851991.jpg, 导演：安德鲁·斯坦顿 Andrew Stanton, 主演：本·贝尔特 Ben Burtt / 艾丽..., 时间：2008, 得分：9.3,评论人数：755763， 简介：小瓦力，大人生。
名称：三傻大闹宝莱坞, 电影链接：https://movie.douban.com/subject/3793023/, 图片：https://img3.doubanio.com/view/photo/s_ratio_poster/public/p579729551.jpg, 导演：拉库马·希拉尼 Rajkumar Hirani, 主演：阿米尔·汗 Aamir Khan / 卡..., 时间：2009, 得分：9.2,评论人数：1027409， 简介：英俊版憨豆，高情商版谢耳朵。
名称：海上钢琴师, 电影链接：https://movie.douban.com/subject/1292001/, 图片：https://img1.doubanio.com/view/photo/s_ratio_poster/public/p511146807.jpg, 导演：朱塞佩·托纳多雷 Giuseppe Tornatore, 主演：蒂姆·罗斯 Tim Roth / ..., 时间：1998, 得分：9.2,评论人数：840738， 简介：每个人都要走一条自己坚定了的路，就算是粉身碎骨。
名称：放牛班的春天, 电影链接：https://movie.douban.com/subject/1291549/, 图片：https://img3.doubanio.com/view/photo/s_ratio_poster/public/p1910824951.jpg, 导演：克里斯托夫·巴拉蒂 Christophe Barratier, 主演：热拉尔·朱尼奥 Gé..., 时间：2004, 得分：9.3,评论人数：713263， 简介：天籁一般的童声，是最接近上帝的存在。
名称：楚门的世界, 电影链接：https://movie.douban.com/subject/1292064/, 图片：https://img3.doubanio.com/view/photo/s_ratio_poster/public/p479682972.jpg, 导演：彼得·威尔 Peter Weir, 主演：金·凯瑞 Jim Carrey / 劳拉·琳妮 Lau..., 时间：1998, 得分：9.2,评论人数：790673， 简介：如果再也不能见到你，祝你早安，午安，晚安。
名称：大话西游之大圣娶亲, 电影链接：https://movie.douban.com/subject/1292213/, 图片：https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2455050536.jpg, 导演：刘镇伟 Jeffrey Lau, 主演：周星驰 Stephen Chow / 吴孟达 Man Tat Ng..., 时间：1995, 得分：9.2,评论人数：796336， 简介：一生所爱。
名称：星际穿越, 电影链接：https://movie.douban.com/subject/1889243/, 图片：https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2206088801.jpg, 导演：克里斯托弗·诺兰 Christopher Nolan, 主演：马修·麦康纳 Matthew Mc..., 时间：2014, 得分：9.2,评论人数：817611， 简介：爱是一种力量，让我们超越时空感知它的存在。
名称：龙猫, 电影链接：https://movie.douban.com/subject/1291560/, 图片：https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2540924496.jpg, 导演：宫崎骏 Hayao Miyazaki, 主演：日高法子 Noriko Hidaka / 坂本千夏 Ch..., 时间：1988, 得分：9.2,评论人数：705161， 简介：人人心中都有个龙猫，童年就永远不会消失。
名称：教父, 电影链接：https://movie.douban.com/subject/1291841/, 图片：https://img3.doubanio.com/view/photo/s_ratio_poster/public/p616779645.jpg, 导演：弗朗西斯·福特·科波拉 Francis Ford Coppola, 主演：马龙·白兰度 M..., 时间：1972, 得分：9.3,评论人数：515699， 简介：千万不要记恨你的对手，这样会让你失去理智。
名称：熔炉, 电影链接：https://movie.douban.com/subject/5912992/, 图片：https://img3.doubanio.com/view/photo/s_ratio_poster/public/p1363250216.jpg, 导演：黄东赫 Dong-hyuk Hwang, 主演：孔侑 Yoo Gong / 郑有美 Yu-mi Jeong ..., 时间：2011, 得分：9.3,评论人数：464621， 简介：我们一路奋战不是为了改变世界，而是为了不让世界改变我们。
名称：无间道, 电影链接：https://movie.douban.com/subject/1307914/, 图片：https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2233971046.jpg, 导演：刘伟强 / 麦兆辉, 主演：刘德华 / 梁朝伟 / 黄秋生, 时间：2002, 得分：9.2,评论人数：654897， 简介：香港电影史上永不过时的杰作。
名称：疯狂动物城, 电影链接：https://movie.douban.com/subject/25662329/, 图片：https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2315672647.jpg, 导演：拜伦·霍华德 Byron Howard / 瑞奇·摩尔 Rich Moore, 主演：金妮弗·..., 时间：2016, 得分：9.2,评论人数：903848， 简介：迪士尼给我们营造的乌托邦就是这样，永远善良勇敢，永远出乎意料。