14.python案例：爬取电影天堂中所有电视剧信息

1.python案例：爬取电影天堂中所有电视剧信息

 #!/usr/bin/env python3
 # -*- coding: UTF-8 -*-
 '''=================================================
 @Project -> File   ：pywork -> day10_test04
 @IDE    ：PyCharm
 @Author ：xwl
 @Date   ：2019/10/10 14:35
 @Desc   ：
 =================================================='''
 import requests,pyperclip,time,sys,os,pymysql
 from lxml import etree

 HEADERS = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36'}
 URL = 'https://www.dytt8.net'  # 电影天堂的主页（由于网站设置有问题，所以加了一个URL全局变量）
 ALL_DATA=[]

 # 清除剪切板中的内容
 def clean_up():
     # 利用os模块中的popen方法调用电脑cmd.exe清除剪切板内容
     # 用popen新建一个管道，然后用read()读取执行命令
     result=os.popen('C:\Windows\System32\cmd.exe /c "echo off | clip"')
     result.read()

 # 倒计时程序
 def countdown(num_time):
     for i in range(num_time,-1,-1):
         mystr = '倒计时' + str(i) + '秒开始!'
         print(mystr, end='')
         time.sleep(1)
         print('\b' * len(mystr), end='')
     print('倒计时结束！')

 # 复制网址
 def copy_url():
     clean_up()  # 调用clean_up函数清除剪切板中内容
     print('请从浏览器复制电影天堂网址！')
     time.sleep(10)
     print('*' * 50)
     url = pyperclip.paste()  # 将剪切板中的内容保存到变量中
     if url == '':
         print('未从浏览器获取到网址,请重新复制！')
         time.sleep(1)
         print('*' * 50)
         num = 20  # 倒计时时间设定
         print('请在{}内复制完成，否则程序将结束！'.format(num))
         time.sleep(1)
         print('*' * 50)
         countdown(num)  # 调用countdown倒计时函数
         url = pyperclip.paste()  # 将剪切板中的内容保存到变量中
         if url == '':  # 如果仍旧未复制，则退出程序
             sys.exit()
     return url

 # 解析网页工具
 def parse_tool(url):
     try:
         response = requests.get(url, headers=HEADERS)
         text = response.content.decode('gbk', errors='ignore')
     except Exception as a:
         print('网站无响应')
     html = etree.HTML(text)
     return html

 # 获取需要爬取的网址
 def get_url():
     url=copy_url()    # 为了调试程序方便，临时将此处复制网址程序禁用掉
     # url='https://www.dytt8.net/index.htm'   # 正式运行程序时，此处代码需要禁用掉，而应该用上面的代码调用函数
     return url

 # 解析网页信息
 def parse_url():

     # 解析电视剧网页信息
     def parse_tvUrl(title,url):
         print(title,url)    # 输出结果：华语电视剧 https://www.dytt8.net/html/tv/hytv/
         print('-'*30)
         # 提取华语电视剧网页共有几页的信息
         html1=parse_tool(url)
         option=html1.xpath('//div[@class="bd3r"]//div[@class="co_content8"]//select[@name="sldd"]/option[last()]/text()')[0]
         for i in range(1,int(option)+1):
             tv_list = []  # 将所有电视信息存入列表
             # 遍历网页底部每页的网址
             option_url='https://www.dytt8.net/html/tv/hytv/list_71_{}.html'.format(i)
             html2=parse_tool(option_url)
             href1s=html2.xpath('//div[@class="co_area2"]/div[@class="co_content8"]//table//td//a/@href')
             # print('数量：',len(href1s))  # 调试用
             print('第{}页'.format(i), '*' * 50)
             for index,j in enumerate(href1s,1): # 用enumerate按顺序遍历，并带序号
                 tv_dict = {}  # 将提取的电视名与下载地址保存在字典中
                 href1='https://www.dytt8.net'+j
                 html3=parse_tool(href1)
                 error=html3.xpath('//div[@align="center"]/div/text()')
                 if error!=[]:
                     print('网址有问题！')
                     continue
                 try:
                     tv_title=html3.xpath('//div[@class="co_area2"]/div[@class="title_all"]/h1/font[@color="#07519a"]/text()')[0]
                     # print(tv_title)  # 调试用
                     tv_dict['tv_title']=tv_title
                     # 用contains进行模糊匹配
                     tv_download=html3.xpath('//div[@id="Zoom"]//table//td//a/@*')
                     # print(tv_download)  # 调试用
                     tv_dict['tv_download']=tv_download
                 except Exception as a:
                     continue
                 tv_list.append(tv_dict)
                 # 添加数据爬取时的提示信息
                 str = '数据正在写入中'
                 for y in range(1,6):
                     print(str, end='')
                     str = '数据正在写入中'+'.'*y
                     time.sleep(0.1)
                     print('\b'*(len(str)),end='')
                 # print('计数',index) # 调试用
                 # print(tv_list) # 调试用
             for index,info in enumerate(tv_list,1):
                 tv_title=info['tv_title']
                 tv_download=info['tv_download']
                 for k,j in enumerate(tv_download,1):
                     m = '第{}集'.format(k)
                     download=j
                     save_data(i,index,tv_title,m,download)
             print('电视剧信息已写入数据库{}.'.format(i))

     # 解析电影网页信息
     def parse_movieUrl(title,url):
         print(title,url)    # 输出结果：2019新片精品 https://www.dytt8.net/html/gndy/dyzz/index.html
         print('-' * 30)
         print('爬取电影信息代码未完成，等待后续开发。')

     url=get_url()
     html = parse_tool(url)
     # response=requests.get(url,headers=HEADERS)
     # text=response.content.decode('gbk',errors='ignore')
     # html=etree.HTML(text)
     # 因为源代码中按下面的路径查找divs1列表中有两个元素，而我们只是需要爬取第一个元素中
     # 的内容，所以用list[0]，然后在对该元素进行xpath查找
     divs1=html.xpath('//div[@class="bd3r"]//div[@class="bd3rl"]')[0]
     divs=divs1.xpath('./div[@class="co_area2"]')
     tv_url={}
     movie_url={}
     for div in divs:
         # -------------提取电视剧分类--------------#
         # 将列表中的每一个元素提取出来，存入变量title
         main_title = div.xpath('./div[@class="title_all"]/p/strong/text()')[0]
         main_url=div.xpath('./div[@class="title_all"]/p/em/a/@href')[0]
         # 由于电影天堂网站有个问题，即日韩电视剧后面跟的是完整的网址，而其
         # 它的不是，所以需要进行一个判断操作
         if main_title=='华语电视剧':
             tv_url['main_title'] = main_title
             tv_url['main_url']=URL + main_url
         # -------------提取电影网址--------------#
         elif main_title=='2019新片精品':
             movie_url['movie_title']=main_title
             movie_url['main_url'] = URL + main_url
         else:
             continue
     # 调用电视剧解析函数解析网页信息
     parse_tvUrl(tv_url['main_title'],tv_url['main_url'])
     # 调用电影解析函数解析网页信息
     parse_movieUrl(movie_url['movie_title'],movie_url['main_url'])

 # 数据写入数据库
 def save_data(i,n,data1,m,data2):
     table_name = 'xwl_{}'.format(i) # 变量类型的数据库表名
     conn=pymysql.connect(host='localhost',user='root',
                          password='root',charset='utf8',port=3306)
     cursor=conn.cursor()
     try:
         # 创建一个名为xwl_test的数据库
         cursor.execute('create database if not exists xwl_test character set utf8;')
         cursor.execute('use xwl_test;')
         # 创建一个变量类型的数据库表名
         sql1="create table if not exists `%s`(序号 int,电视剧名称 char(255),集数 char(20),下载地址 char(255)) character set utf8" %(table_name)
         cursor.execute(sql1)
         # 向变量类型的数据库表名中写入数据
         sql2="insert into `%s`(序号,电视剧名称,集数,下载地址)" %(table_name) +" values(%s,%s,%s,%s)"
         cursor.execute(sql2,(n,data1,m,data2))
         conn.commit()
     except Exception as e:
         print('有部分数据写入出错')  # 这样就可以在数据写入出错时自动跳过，从而使代码可以继续跑下去
     finally:
         conn.close()

 #--------------代码调用主模块---------------#
 if __name__=='__main__':
     parse_url()

出现以下情况，说明已经成功写入：