python初学（三）

1.以软科中国最好大学排名为分析对象，基于requests库和bs4库编写爬虫程序，对2015年至2019年间的中国大学排名数据进行爬取，并按照排名先后顺序输出不同年份的前10位大学信息，要求对输出结果的排版进行优化。

 import requests
 from bs4 import BeautifulSoup

 class Univ:
     def __init__(self, url, num):
         self.url=url
         self.allUniv=[]
         self.num=num

     def get_htmltext(self):
         try:
             r=requests.get(self.url,timeout=30)
             r.raise_for_status()
             r.encoding='utf8'
             return r.text
         except:
             return ''

     def fillUnivList(self,soup):
         data=soup.find_all('tr')
         for tr in data:
             ltd=tr.find_all('td')
             if len(ltd)==0:
                 continue
             singleUniv=[]
             for td in ltd:
                 singleUniv.append(td.string)
             self.allUniv.append(singleUniv)

     def printUnivList(self):
         print("{:^4}\t{:^20}\t{:^10}\t{:^8}\t{:^10}\t".format("排名","学校名称","省市","总分","生源质量"))
         for i in range(self.num):
             u=self.allUniv[i]
             if u[0]:
                 print("{:^4}\t{:^20}\t{:^10}\t{:^8}\t{:^10}\t".format(u[0],u[1],u[2],u[3],u[4]))
             else:
                 print("{:^4}\t{:^20}\t{:^10}\t{:^8}\t{:^10}\t".format(i+1,u[1],u[2],u[3],u[4]))

     def main(self):
         html=self.get_htmltext()
         soup=BeautifulSoup(html,'html.parser')
         self.fillUnivList(soup)
         self.printUnivList()

 if __name__ == "__main__":
     url="http://www.zuihaodaxue.cn/zuihaodaxuepaiming2015_0.html"
     print('')
     u=Univ(url,10)
     u.main()
     years=["","","",""]
     for year in years:
         url="http://www.zuihaodaxue.cn/zuihaodaxuepaiming"+year+".html"
         print(year)
         u=Univ(url,10)
         u.main()

2.豆瓣图书评论数据爬取。在豆瓣图书上自行选择一本书，编写程序爬取豆瓣图书上针对该图书的短评信息，要求：

（1）对不同页码的短评信息均可以进行爬取；

（2）爬取的数据包含用户名、短评内容、评论时间和评分；

能够根据选择的排序方式进行爬取，并针对热门排序，输出前10个短评信息（包括用户名、短评内容、评论时间和评分）；

（3）能够根据选择的排序方式进行爬取，并针对热门排序，输出前10个短评信息（包括用户名、短评内容、评论时间和评分）；

（4）结合中文分词和词云生成，对前3页的短评内容进行文本分析，并生成一个属于自己的词云图形。

 import requests
 import re
 import jieba
 import wordcloud
 from bs4 import BeautifulSoup
 from fake_useragent import UserAgent

 class com:
     def __init__(self, no,num,page):
         self.no=no
         self.page=page
         self.num=num
         self.url=None
         self.header=None
         self.bookdata=[]
         self.txt=''

     def set_header(self):
         ua = UserAgent()
         self.header={
             "User-Agent":ua.random
         }

     def set_url(self,page):
         self.url='https://book.douban.com/subject/{0}/comments/hot?p={1}'.format(str(self.no),str(page+1))

     def get_html(self):
         try:
             r=requests.get(self.url,headers=self.header,timeout=30)
             r.raise_for_status()
             r.encoding='utf8'
             return r.text
         except:
             return ''

     def fill_bookdata(self, soup):
         commentinfo=soup.find_all('span','comment-info')
         pat1=re.compile(r'allstar(\d+) rating')
         pat2=re.compile(r'<span>(\d\d\d\d-\d\d-\d\d)</span>')
         comments=soup.find_all('span','short')
         for i in range(len(commentinfo)):
             p=re.findall(pat1,str(commentinfo[i]))
             t=re.findall(pat2,str(commentinfo[i]))
             self.bookdata.append([commentinfo[i].a.string,comments[i].string,p,t[0]])

     def printList(self, num):
         for i in range(num):
             u=self.bookdata[i]
             try:
                 print("序号: {}\n用户名: {}\n评论内容: {}\n时间：{}\n评分: {}星\n".format(i+1,u[0],u[1],u[3],int(eval(u[2][0])/10)))
             except:
                 print("序号: {}\n用户名: {}\n评论内容: {}\n".format(i+1,u[0],u[1]))

     def comment(self):
         self.set_header()
         self.set_url(0)
         html=self.get_html()
         soup=BeautifulSoup(html,'html.parser')
         self.fill_bookdata(soup)
         self.printList(self.num)

     def txtcloud(self):
         self.set_header()
         for i in range(self.page):
             self.bookdata=[]
             self.set_url(i)
             html=self.get_html()
             soup=BeautifulSoup(html,'html.parser')
             self.fill_bookdata(soup)
             for j in range(len(self.bookdata)):
                 self.txt+=self.bookdata[j][1]
         w=wordcloud.WordCloud(width=1000,font_path="msyh.ttc",height=700,background_color="white")
         w.generate(self.txt)
         w.to_file("comment.png")

     def main(self):
         self.comment()
         self.txtcloud()

 if __name__ == "__main__":
     com(34925415,10,10).main()

3.设  其中，完成下列操作：

(1)在同一坐标系下用不同的颜色和线性绘制y1、y2和y3三条曲线；

 import matplotlib.pyplot as plt
 import numpy as np

 x=np.arange(0,360)
 y1=x*x
 y2=np.cos(x)
 y3=y1*y2
 plt.plot(x,y1,color='blue')
 plt.plot(x,y2,color='red')
 plt.plot(x,y3,color='green')
 plt.show()

(2)在同一绘图框内以子图形式绘制y1、y2和y3三条曲线。

 import matplotlib.pyplot as plt
 import numpy as np

 x=np.arange(0,360)
 y1=x*x
 y2=np.cos(x)
 y3=y1*y2
 plt.subplot(311)
 plt.plot(x,y1,color='blue')
 plt.subplot(312)
 plt.plot(x,y2,color='red')
 plt.subplot(313)
 plt.plot(x,y3,color='green')
 plt.show()

4.已知  ，在-2<=x<=2区间绘制该分段函数的曲线，以及由该曲线所包围的填充图形。

 import matplotlib.pyplot as plt
 import numpy as np 

 x=np.arange(-2,2,1e-5)
 y1=np.sqrt(2*np.sqrt(np.power(x,2))-np.power(x,2))
 y2=-2.14*np.sqrt(np.sqrt(2)-np.sqrt(np.abs(x)))
 plt.plot(x,y1,'r',x,y2,'r')
 plt.fill_between(x,y1,y2,facecolor='red')
 plt.show()