day17 python re模块 简易爬虫

day17 python

 

一.re模块

    1.re模块的基础方法

        查找findall()

import re

#re.findall(pattern,string,flags=0)

rst = re.findall('\d', 'bajie123ai456')     #找到符合正则的所有结果, 返回列表

print(rst)

>>>['1', '2', '3', '4', '5', '6'

        

        查找search()

import re

#re.search(pattern,string,flags=0)

rst = re.search('\d', 'bajie123ai456')      #只匹配从左到右的第一个; 有的话返回一个'正则匹配的对象', 没有匹配到返回 None, 

print(rst)

>>><_sre.SRE_Match object; span=(5, 6), match='1'>

 

if ret:                                     #如果ret是None, 没有group()方法会报错

    print(rst.group())                      #通过对象的group()方法, 得到匹配的值, match=1

        

        查找match()

import re

#re.match(pattern,string,flags=0)

rst = re.match('\d', '66bajie123ai456')     #match()就是search()的pattern的开始加个^ :只从开头匹配一个

print(rst)

print(rst.group())

        

        split()

import re

s = 'bajie66wukong120'

#re.split(pattern,string,maxsplit=0,flags=0)

print(re.split('\d+',s))                   #和字符串的split()一样, 但是可以按正则切, 也是返回列表

        

        sub()

import re

#re.sub(pattern,repl,string,count=0,flags=0)   

s = 'bajie66wukong120'

rst=re.sub('\d','---',s)                   #和字符串的replace()一样, 但是可以按正则替换, 返回新的字符串

print(rst)

        

        subn()

import re

#re.subn(pattern,repl,string,count=0,flags=0)

s = 'bajie66wukong120'

rst=re.subn('\d','---',s,1)    #和sub()一样, 但是会多返回一个n: 是替换的次数, 返回元组

print(rst)

    

    2.re模块的进阶

        compile() 节省你使用正则表达式解决问题的时间

            如果一个正则很复杂,用户多,执行多次时,耗时多; 先把正则编译, 在多次使用时可反复调用编译对象

import re

#re.compile(pattern,flags=0)

rst = re.compile('\d')          #编译后, 得到一个编译对象; 之后的这个对象有的方法, 和re的一样

print(rst.findall('bajie66wukong120'))  #可多次使用编译的成果

print(rst.findall('asdsaf3243242dsfsa'))

print(rst.findall('hku876j'))

        

        finditer() 节省你使用正则表达式解决问题的空间

import re

#re.findall(pattern,string,flags=0)

rst = re.finditer('\d', 'asdf1223lj43l42l34klj2lkj2')   #找到所有匹配的结果(findall): 但是返回的不是列表, 返回的是包含有匹配对象的迭代器

print(rst)

for el in rst:

    print(el.group())

    

    3.在python中使用正则表达式的特点和问题

        在正则中的应用: ()内的组成一个整体

        分组在re模块中的使用: "反向引用"

            search()中, 正常的分组显示;     match()和这个一样, 注意是 ^pattern就行了

import re

 

s = '<a>bajieaishuishui</a>'                    #这个是标签语言, a标签, html语言中的, web网页

 

rst = re.search('<(\w+)>(\w+)</(\w+)>', s)      #首先分组不会对正则有影响,

print(rst.group())                              #默认0, 是取所有匹配的,

print(rst.group(1))                             #分组中的应用是从 1 开始的

print(rst.group(2))

print(rst.group(3))

            

            findall()中的分组优先显示, 和取消分组优先显示

import re

s = '<a>bajieaishuishui</a>'

print(re.findall('>(\w+)<',s))                      #['bajieaishuishui']   #findall 的分组时的优先显示特性(是由于没有类似search的group方法, 所以想了一个这样的招)

 

print(re.findall('\d+(\.\d+)?', '1.234*4.56'))      #['.234', '.56']   #由于findall的分组优先特性, 我想要的小数得不到了, 怎么办?

 

print(re.findall('\d+(?:\.\d+)?', '1.234*4.56'))    #['1.234', '4.56']  #在分组的内部前面加上 (?:pattern), ?:和正则无关, 是python和正则之间的恩怨

            

            split()中的分组, 留下刀

import re

s = 'bajie66wukong120'

#re.split(pattern,string,maxsplit=0,flags)

print(re.split('(\d+)',s))        #['bajie', '66', 'wukong', '120', '']  #会把刀留下

            

            分组命名

import re

s = '<a>bajieaishuishui</a>'

rst = re.search('<(?P<hao>\w+)>(?P<shen>\w+)</(?P<qi>\w+)>', s)     #怎么命名: 在分组里面的开始位置加上(?P<name>pattern)

print(rst.group('hao'))                                             #如何调用: 把数字换成分组时起的名字group('name'), name 是字符串

print(rst.group('shen'))

            

            分组命名的应用

import re

 

s = '<a>bajieaishuishui</a>'

rst = re.search('<(?P<hao>\w+)>(?P<shen>\w+)</(?P=hao)>', s)    #在正则中前面命名,正则后面直接引用这个名字, 表示的是和前面正则匹配的内容(结果)是一样的

print(rst.group())                                              #如果匹配到就好, 如果匹配不到, 返回None

 

#2018-12-09

#2019.11.9

#2017 09 08     #要求年和月之间的符号, 和月和日之间的符号一样时, 可以用到

            

            上面的也可以用\1\2这样的反向引用

import re

s = '<a>bajieaishuishui</a>'

rst = re.search(r'<(\w+)>(\w+)</\1>', s)       #r'pattern' : 要用 r''把正则搞起来

print(rst.group())

 

    4.使用正则表达式的技巧

        你要匹配的内容太没有特点了, 容易和你不想匹配的内容混在一起

        那么你就把你不想匹配的也匹配出来, 然后想办法去搞掉他

import re

rst = re.findall('\d+', '1-2*(60+(-40.35/5)-(-4*3))')

print(rst)          #['1', '2', '60', '40', '35', '5', '4', '3']    #取整数, 但不想匹配小数

 

rst = re.findall('(\d+\.\d+)|(\d+)', '1-2*(60+(-40.35/5)-(-4*3))')  #如何精准的取到整数, 过滤掉小数

print(rst)          #[('', '1'), ('', '2'), ('', '60'), ('40.35', ''), ('', '5'), ('', '4'), ('', '3')]

rst = re.findall('\d+\.\d+|(\d+)', '1-2*(60+(-40.35/5)-(-4*3))')

print(rst)          #['1', '2', '60', '', '5', '4', '3']

 

    5.爬虫的例子

    预备知识

        如何获取网页url的源代码

import re

from urllib import request

rst = request.urlopen('https://pythonav.com/')    #拿到响应的对象

print(rst.read().decode('utf-8'))                 #对象的 read()方法, 打印出字节码,然后解码成字符串  #这就是这个url在网页上的源代

        

        正则中的 . (点)不匹配\n, python如何让他匹配

import re

s = '''234

'''

print(re.search('23.*56',s, flags=re.S))    #flags=re.S即可解决

    

    简易爬虫

import re

from urllib import request

 

pattern = '<div class="item">.*?<em.*?>(?P<id>\d+).*?<span class="title">(?P<title>.*?)</span>.*?<span class="rating_num".*?>(?P<rating_num>.*?)</span>.*?<span>(?P<comment_num>.*?)</span>'

comp = re.compile(pattern, flags=re.S)

 

def get_page_str(url):

    rst = request.urlopen(url)

    s = rst.read().decode('utf-8')

    return s

 

def handle_page(s):

    for i in comp.finditer(s):

        yield {

            'id': i.group('id'),

            'title': i.group('title'),

            'rating_num': i.group('rating_num'),

            'comment_num': i.group('comment_num')}

def main(num):

    url = 'https://movie.douban.com/top250?start=%s&filter=' % num

    s = get_page_str(url)

    rst = handle_page(s)

 

    with open('move_info.txt', 'a', encoding='utf-8') as f:

        for el in rst:

            print(el)

            data = str(el)

            f.write(data+'\n')

 

for num in range(0,251,25):

    main(num)

    

    网页源代码内容(一个电影介绍的源代码实例)

'''

<ol class="grid_view">

        <li>

            <div class="item">

                <div class="pic">

                    <em class="">1</em>

                    <a href="https://movie.douban.com/subject/1292052/">

                        <img width="100" alt="肖申克的救赎" src="https://img3.doubanio.com/view/photo/s_ratio_poster/public/p480747492.jpg" class="">

                    </a>

                </div>

                <div class="info">

                    <div class="hd">

                        <a href="https://movie.douban.com/subject/1292052/" class="">

                            <span class="title">肖申克的救赎</span>

                                    <span class="title">&nbsp;/&nbsp;The Shawshank Redemption</span>

                                <span class="other">&nbsp;/&nbsp;月黑高飞(港)  /  刺激1995(台)</span>

                        </a>

                            <span class="playable">[可播放]</span>

                    </div>

                    <div class="bd">

                        <p class="">

                            导演: 弗兰克·德拉邦特 Frank Darabont&nbsp;&nbsp;&nbsp;主演: 蒂姆·罗宾斯 Tim Robbins /...

                            1994&nbsp;/&nbsp;美国&nbsp;/&nbsp;犯罪 剧情

                        </p>

                        <div class="star">

                                <span class="rating5-t"></span>

                                <span class="rating_num" property="v:average">9.7</span>

                                <span property="v:best" content="10.0"></span>

                                <span>1575462人评价</span>

                        </div>

                           <p class="quote">

                                <span class="inq">希望让人自由。</span>

                            </p>

                    </div>

                </div>

            </div>

        </li>

'''

 

 

二.练习

    1.计算器    

    计算结果: rst = '1 - 2*((60-30+(-40/5)*(9-2*5/3+7/3*99/4*2998+10*568/14))- (-4*3)/(16-3*2))'

    要求:

        不能用print(), 不能用eval(), 要自己写算法

        用到函数

        用到循环

        用到re模块

    步骤:

        先把所有的空格去掉

        匹配内层中不再有括号的表达式

            先计算*/, 在然后计算+-

        将括号中计算的结果, 替换刚刚计算的括号

            如何处理符号

        循环这个过程

import re

 

def atom_mul_div(expr):

    if '*' in expr:

        a, b = expr.split('*')

        return str(float(a) * float(b))

    elif '/' in expr:

        a, b = expr.split('/')

        return str(float(a) / float(b))

 

def atom_add_sub(expr):

    lst = re.findall('[+-]?\d+(?:\.\d+)?',expr)

    atom_sum = 0

    for i in lst:

        atom_sum += float(i)

    return atom_sum

 

def atom_format(expr):

    expr = expr.replace('++', '+')

    expr = expr.replace('--', '+')

    expr = expr.replace('+-', '-')

    expr = expr.replace('-+', '-')

    return expr

 

def atom_brackets(expr):

    while True:

        expr_sub = re.search('\d+(\.\d+)?[*/]-?\d+(\.\d+)?', expr)

        if expr_sub:

            expr_sub = expr_sub.group()

            rst = atom_mul_div(expr_sub)

            expr = expr.replace(expr_sub,rst)

            expr = atom_format(expr)

        else:

            break

    rst = atom_add_sub(expr)

    return rst

 

def main(expr):

    expr = expr.replace(' ', '')

    while True:

        expr_sub = re.search('\([^()]+\)', expr)

        if expr_sub:

            expr_sub = expr_sub.group()

            rst = atom_brackets(expr_sub)

            expr = expr.replace(expr_sub, str(rst))

            expr = atom_format(expr)

        else:

            break

    return atom_brackets(expr)

 

s = '1 - 2*((60-30+(-40/5)*(9-2*5/3+7/3*99/4*2998+10*568.8/14))- (-4*3)/(16-3*2))'

print(main(s))

print(eval(s))