原生爬虫小Demo

import re
from  urllib import  request
class Spider():
    url = 'https://www.panda.tv/cate/lol'
    #[\s\S]匹配任意字符
    # [\s\S]*匹配任意多字符
    # ？改贪婪模式为非贪婪模式（因为由于有许多</div>）改为匹配第一个
    #加上括号变成组 结果只有（）中的内容
    root_pattern = '<div class="video-info">([\s\S]*?)</div>'
    name_pattern = '</i>([\s\S]*?)</span>'
    number_pattern = '<span class="video-number">([\s\S]*?)</span>'
   #获取字符串页面代码
    def __fetch_content(self):
        r = request.urlopen(Spider.url)
        htmls = r.read()
        htmls = str(htmls,encoding='UTF-8')
        return  htmls
    #代码分装
    def __analusis(self,htmls):
       root_html =  re.findall(Spider.root_pattern,htmls)
       anchors = []
       for html in  root_html:
           name = re.findall(Spider.name_pattern,html)
           number = re.findall(Spider.number_pattern,html)
           anchor = {'name':name,'number':number}
           anchors.append(anchor)
       #print(anchors[0])
       return anchors
    #数据排版
    def __refine(self,anchors):
        #strip()  去掉空白
        l = lambda anchor:{'name':anchor['name'][0].strip(),'number':anchor['number'][0].strip()}
        return  map(l,anchors)
    #排序
    def __sort(self,anchors):
        #key 指定那个元素为排序key   ,reverse=True  改升序为降序
        anchors = sorted(anchors,key=self.__sort_seed,reverse=True)
        return anchors
    #排序key
    def __sort_seed(self,anchor):
        #保留数字部分
        r = re.findall('\d*',anchor['number'])
        #类型转换
        number = float(r[0])
        if '万' in anchor['number']:
            number *= 10000
        return number
    #输出
    def __show(self,anchors):
        for rank in range(0,len(anchors)):
            #print(anchor['name']+'----------'+anchor['number'])
            print(str(rank+1)+':'+anchors[rank]['name']+'    '+anchors[rank]['number'])
    def go(self):
        htmls = self.__fetch_content()
        anchors = self.__analusis(htmls)
        anchors = list(self.__refine(anchors))
        anchors = self.__sort(anchors)
        self.__show(anchors)

spilder = Spider()
spilder.go()

输出

1:贾克虎丶虎神    40.4万
2:熊猫LCS直播间    24.2万
3:MilkGod牛奶    12.7万
4:君克解说    11.8万
5:爷大干丶    10.7万
6:LOL丶摇摆哥    9.4万
7:LPL熊猫官方直播    9.4万
8:三毛丶德莱文    7.9万
9:小师弟180    5.9万
10:少聪丶灯红酒绿    3.4万
11:阿涛皎月Carry    3.4万
12:浩东德莱文    2.9万
13:熊猫Tv丶狮子汪    2.4万
14:南陵花神丶    2.3万
15:我叫GPS    2.2万
16:PSL英雄联盟    1.4万
17:空大的劫zz    1.9万
18:天才Reborn    1.5万
19:宇宙大表哥    1.2万
20:龙大大大大大根    9841
21:芒果鱼丶    8435
22:熊猫TV丶年华i    6076
23:牛老师丶    3981
24:熊猫TV丶八神梦魇    3495
25:上单教官李某人    3365
26:听白呀丶    2590
27:一个很C的稻草人    1969
28:熊猫TV丶达浪    1845
29:思思ob    1497
30:一剑西来QAQ    1470
31:魔剑神无敌    1447
32:不二锐雯阿    1379
33:小凯南zz    1250
34:阿枫丶丶丶    1020
35:冰雪丶狐狸    859
36:娱乐飞    859
37:顺顺套路王    742
38:许你一世长安可好    676
39:张张张小萌    665
40:Panda丶喜羊羊    651
41:Proc    620
42:壮的像个派大星    614
43:游戏主播十七    612
44:苏璞呀丶    610
45:小小小女人丶    588
46:Sye钰神    586
47:千夜_zilean    585
48:哲哲大魔王    575
49:东北小伙_    572
50:俗了风7zcc    572
51:一只小欢欢丶    571
52:爱流血的兔斯基    560
53:阿尔托莉雅波塞冬    558
54:希希天使S    557
55:熊猫tv丶仙Q    557
56:小丸仔卡特    557
57:12345上山a老虎    555
58:叁少i丶    549
59:牌面之王丶火影劫    547
60:咪路m    546
61:熊猫tv胖胖虎    546
62:Panda丶冰冰    545
63:分手何必把锅背走    536
64:骠骑大将军1    534
65:小天社长    533
66:剑圣丶白无极    522
67:初柔_    522
68:Panda丶浅唱小生    510
69:熊猫TV坦克王    507
70:迟到不准时的岛屿    496
71:柚子岩雀    491
72:八岁QAQ    490
73:熊猫TV_花和尚    485
74:杨洋洋洋i    482
75:小伊Zzz    480
76:熊猫丶杀手小哼    480
77:红尘安静    480
78:兮颜木木    480
79:黄金单身汉丶    469
80:熊猫壹棉被    468
81:崩坏吧主人    466
82:咖啡馆儿    464
83:花臂男神丶沈迪奥    460
84:叫我父多吧    458
85:主播Dyz    457
86:有一只大狗    456
87:小逍遥生    444
88:熊猫TV丶黑默丁宇    440
89:YK丶唯一    429
90:熊猫尼古拉斯胖虎    428
91:深圳AD牌面    427
92:AstonMartin呦    419
93:橘子味de茜喵喵Cc    416
94:熊猫TV维他柠檬茶    387
95:内江扬子鳄    362
96:请叫我丫头姐    360
97:社会我墙哥丶    360
98:风拓的契约    357
99:日暮哟    354
100:小v锐雯永不抗压    339
101:睿智冷静的耳鼻    328
102:小风风c    315
103:熊猫咪咪2016    312
104:学锅不背锅    312
105:吃藕人的小丑    298
106:鲁噜噜噜噜噜    296
107:龙之舞丶    274
108:三木阿_森    265
109:安逸kuku    228
110:潇洒的小苏苏    217
111:2017英雄联盟全明星    212
112:请叫我子弹丶    211
113:AD江流儿    210
114:YINGQIWEI    198
115:请叫我万哥    181
116:XOL丶梦帝    174
117:纳纳纳c    168
118:步子丶    159