B站标题/子标题/url爬取示例(requests+re)

 #coding:utf-8
 __author__ = "zhoumi"
 3
 
 import requests
 import re
 import urllib
 '''
 本文档目的在于获得：
 1、一级目录与其对应链接的字典,如下形式
     dictinfo = {一级目录:链接}
 2、二级目录与其对应链接的字典,如下形式
     dict2info = {二级目录:链接}
 3、一级目录与二级目录对应的字典，如下形式
     dict3info = {一级目录:[二级目录]}
 '''

 #获得待解析的页面
 #首先用raise_for_status处理异常：若请求不成功，抛出异常
 def getText(url):
         source = requests.get(url)
         source.raise_for_status()
         source.encoding = source.apparent_encoding
         return(source.text)

 #返回分类名(keys)及对应链接(value)的字典
 #dictinfo = {name1list:html1list}
 #例如：动画:www.bilibili.donghua.com,........
 def getfirsttitle(source):
     text = re.findall(r'a class.*?div class',source)
     namelist = []
     htmllist = []
     dictinfo = {}
     for i in text:
         namelist.append(i.split("><em>")[1].split("</em>")[0])
         htmllist.append(i.split('href="//')[1].split('"><em>')[0])
     for i in range(len(namelist) - 1):
         dictinfo[namelist[i]] = htmllist[i]
     return dictinfo

 #返回二级分类的keys(分类名)和values(对应链接)的字典
 #dict2info = {name2list:html2list}
 def getsecondtitle(source):
     text2 = re.findall(r'a href.*?<em></em></b></a></li>',source)
     name2list = []
     html2list = []
     dict2info = {}
     for i in text2:
         name2list.append(i.split('><b>')[1].split('<em>')[0])
         html2list.append(i.split('a href="//')[1].split('"><b>')[0])
     for i in range(len(name2list) - 1):
         dict2info[name2list[i]] = html2list[i]
     return dict2info

 #获得一级分类和二级分类的分类名的字典
 #dict3info = {name1list:[name2list]}
 def getfirst2second(source):
     text3 = re.findall(r'"m-i".*?</ul',source,re.S)
     dict3info = {}
     middletitle = []
     for i in text3:
         #获得出各个一级标题
         title = i.split('><b>')[0].split('</em>')[0].split('<em>')[1]
         #获得各一级标题的子标题
         childtitle = i.split('><b>')
         dict3info[title] = childtitle
         for j in range(len(childtitle) - 1):
             childtitle[j] = childtitle[j + 1]
         #处理冗余
         childtitle.pop()
         for k in childtitle:
             middletitle.append(k.split('<em>')[0])
         #每处理完一个title的childtitle，就执行存储语句
         dict3info[title] = middletitle
         #初始化传递列表
         middletitle = []
     return dict3info

 #——————————————————————————————————————————————
 ##导入字典{二级分类名：urls2}计划使用urllib库
 '''
 url为dict_2_url2字典里面的url2
 本文本块目的在于获取二级分类页面的源视频链接和视频名称
 并生成最终可调用字典{source_name:source_url}

 url = dict_2_urls.values()
 '''

 def gettext(url):
     source = requests.get(url)
     source.raise_for_status()
     source.encoding = source.apparent_encoding
     return source.text

 def download(source):
     text = re.findall(r'<video> src="blob:.*?"></video>',source)
     html = text.split('<video> src="')[1].split('"></video>')[0]
     pass

这是今两天瞎鼓捣弄出来的代码，函数名、变量名的定义存在问题。

最开始利用requests.get(url)获得文本之后，不明白为什么需要text._raise_for_status()这一句代码，后来明白这个是为了处理向url发出response请求时的异常处理，具体是什么处理不太明白。

其中，text.encoding = text.apparent.encoding的实现原理也没有深究，需要慢慢积累。

requests作为一个第三方库，提供的是一种便利的功能，但是学习这几天之后，我发现这个并不太适合初学者，深层次的才是基础的，所以我觉得需要好好了解一下urllib这个模块。

之后，我准备尝试使用urllib模块对下载下来的文本进行处理，urlretrieve函数，urllib.request.urlopen函数等.

还遇见一个问题，当我准备利用字典里面的视频链接下载b站的视频时，会显示如下结果：

b'\x1f\x8b\x08\x00\x00\x00\x00\x00\x00\x03\xc5}{\x93\x1bE\xb2\xef\xdf8\xe2|\x87^\xb1\xc1\x8c\x03\xeb9\x9a\x97\xf1\x0c\x07\x0c\xdcC\x1cX\xd8\xc5

我的源码是：

 import urllib.request
 import urllib.parse

 def gettext(url):
     source = urllib.request.urlopen(url,timeout=30)
     return source.read()
 url = 'https://www.bilibili.com/video/av11138658/'
 text = gettext(url)
 print(text)

百思不得其解，最后我把原因归结为B站视频有做过加密处理，入门不足一个月的小白还没有能力解决这个问题~~~