利用python2.7正则表达式进行豆瓣电影Top250的网络数据采集及MySQL数据库操作

转载请注明出处

利用python2.7正则表达式进行豆瓣电影Top250的网络数据采集

1.任务

• 采集豆瓣电影名称、链接、评分、导演、演员、年份、国家、评论人数、简评等信息

• 将以上数据存入MySQL数据库

2.任务解析

• requests是很好的网络数据采集模块，配合BeautifulSoup可以解析许多HTML。但个人认为BeautifulSoup返回对象不是字符串，而利用其find及findall总觉得力有未逮，与正则表达式的配合总显得有些冗余，甚至需要将BeautifulSoup返回对象转换成字符串形式与正则表达式配合使用，这里我不再利用BeautifulSoup，而是直接利用requests得到的网络文本配合正则表达式完成本次任务。

• 利用request得到的网络文本，这里截取一段某部电影的完整的网络文本：

        <li>
            <div class="item">
                <div class="pic">
                    <em class="">2</em>
                    <a href="https://movie.douban.com/subject/1295644/">
                        <img alt="这个杀手不太冷" src="https://img3.doubanio.com/view/movie_poster_cover/ipst/public/p511118051.jpg" class="">
                    </a>
                </div>
                <div class="info">
                    <div class="hd">
                        <a href="https://movie.douban.com/subject/1295644/" class="">
                            <span class="title">这个杀手不太冷</span>
                                    <span class="title">&nbsp;/&nbsp;Léon</span>
                                <span class="other">&nbsp;/&nbsp;杀手莱昂  /  终极追杀令(台)</span>
                        </a>

                            <span class="playable">[可播放]</span>
                    </div>
                    <div class="bd">
                        <p class="">
                            导演: 吕克·贝松 Luc Besson&nbsp;&nbsp;&nbsp;主演: 让·雷诺 Jean Reno / 娜塔丽·波特曼 ...<br>
                            1994&nbsp;/&nbsp;法国&nbsp;/&nbsp;剧情 动作 犯罪
                        </p>

                        <div class="star">
                                <span class="rating5-t"></span>
                                <span class="rating_num" property="v:average">9.4</span>
                                <span property="v:best" content="10.0"></span>
                                <span>712293人评价</span>
                        </div>

                            <p class="quote">
                                <span class="inq">怪蜀黍和小萝莉不得不说的故事。</span>
                            </p>
                    </div>
                </div>
            </div>
        </li>

• 电影名称和链接采集请参考http://www.cnblogs.com/carpenterworm/p/6026274.html

• 数据库操作请参考http://www.cnblogs.com/carpenterworm/p/6028741.html

• 其他部分正则匹配参考代码相关部分

• 需要说明的是，电影年份中第84部《大闹天空》年份如下：'1961(上集) / 1964(下集) / 1978(全本) / 2004(纪念版)'，不能通过数字匹配的方式获取年份，因此需要添加。某些电影没有主演及简评等信息，这里需要查找添加。相关代码见78-90行

3.代码

 #!/usr/bin/python
 # -*- coding: utf-8 -*- #
 # 豆瓣电影top250
 import requests,sys,re,MySQLdb,time

 reload(sys)
 sys.setdefaultencoding('utf-8')
 print '正在从豆瓣电影Top250抓取数据......'
 # --------------------------创建列表用于存放数据-----------------------------#
 nameList=[]
 linkList=[]
 scoreList=[]
 directorList=[]
 playList=[]
 yearList=[]
 countryList=[]
 commentList=[]
 criticList=[]
 #---------------------------------爬取模块------------------------------------#
 def topMovie():
     for page in range(1):
         url='https://movie.douban.com/top250?start='+str(page*25)
         print '正在爬取第---'+str(page+1)+'---页......'
         html=requests.get(url)
         html.raise_for_status()
         try:
             contents=html.text # 返回网页内容，是字符串的形式
             # ---------------------------------匹配电影中文名------------------------------------#
             name=re.compile(r'<span class="title">(.*)</span>')
             names=re.findall(name,contents)
             for movieName in names:
                 if movieName.find('/')==-1:
                     nameList.append(movieName)
             # ---------------------------------匹配电影链接------------------------------------#
             link=re.compile(r'a href="(.*)" class=""')
             links=re.findall(link,contents)
             for movieLink in links:
                 linkList.append(movieLink)
             # ---------------------------------匹配电影评分------------------------------------#
             score=re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
             scores=re.findall(score,contents)
             for movieScore in scores:
                 scoreList.append(movieScore)
             # ---------------------------------匹配导演------------------------------------#
             director=re.compile(ur'导演: (.*)&nbsp;&nbsp;&nbsp;')
             directors=re.findall(director,contents)
             for movieDirector in directors:
                 directorList.append(movieDirector)
             # ---------------------------------匹配主演------------------------------------#
             play=re.compile(u'主(.*?)<br>')
             plays=re.findall(play,contents)
             for moviePlay in plays:
                 playList.append(moviePlay.strip(ur'演: '))
             # ---------------------------------匹配年份------------------------------------#
             year=re.compile(r'(\d\d\d\d)&nbsp;/&nbsp;')
             years=re.findall(year,contents)
             for movieyear in years:
                 yearList.append(movieyear)
             # ---------------------------------匹配国家------------------------------------#
             country=re.compile(ur'&nbsp;/&nbsp;(.*)&nbsp;/&nbsp;')
             countries=re.findall(country,contents)
             for movieCountry in countries:
                 countryList.append(movieCountry)
             # ---------------------------------匹配评价人数------------------------------------#
             commentor=re.compile(ur'<span>(.*)人评价</span>')
             commentors=re.findall(commentor,contents)
             for movieCommentor in commentors:
                 commentList.append(movieCommentor)
             # ---------------------------------匹配简评------------------------------------#
             critic=re.compile(r'<span class="inq">(.*)</span>')
             critics=re.findall(critic,contents)
             for movieCritic in critics:
                 criticList.append(movieCritic)

         except Exception as e:
             print e
     print '爬取完毕！'
     # ---------------------------------个别部分修改-----------------------------------#
     # 需要在第84部《大闹天空》不能通过上面的方法筛选，需要在83后加入加入数据
     yearList.insert(83, '1961(上集) / 1964(下集) / 1978(全本) / 2004(纪念版)')
     playList.insert(38,'...') # 某些电影没有主演和评论，这里用...代替
     playList.insert(233,'...')
     criticList.insert(134,'...')
     criticList.insert(156,'...')
     criticList.insert(176,'...')
     criticList.insert(180,'...')
     criticList.insert(196,'...')
     criticList.insert(230,'...')
     criticList.insert(232,'...')
     return nameList,linkList,scoreList,directorList,playList,yearList,countryList,commentList,criticList
 # ---------------------------------储存到数据库-----------------------------------#
 def save_to_MySQL():
     print 'MySQL数据库存储中......'
     try:
         conn = MySQLdb.connect(host="127.0.0.1", user="root", passwd="******", db="test", charset="utf8")
         cursor = conn.cursor()
         print "数据库连接成功"
         cursor.execute('Drop table if EXISTS MovieTop250') # 如果表存在就删除
         time.sleep(3)
         cursor.execute('''create table if not EXISTS MovieTop250(
                            编号 int not NULL auto_increment PRIMARY KEY ,
                            电影名称 VARCHAR (200),
                            链接 VARCHAR (200),
                            导演 VARCHAR (200),
                            主演 VARCHAR (200),
                            年份 VARCHAR (200),
                            国家 VARCHAR (200),
                            评价人数 VARCHAR (200),
                            简评 VARCHAR (200),
                            评分 VARCHAR (20))''')
         for i in range(250):
             sql='insert into MovieTop250(电影名称,链接,导演,主演,年份,国家,评价人数,简评,评分)' \
                 ' VALUES (%s,%s,%s,%s,%s,%s,%s,%s,%s)'
             param=(nameList[i],linkList[i],directorList[i],playList[i],yearList[i],
                    countryList[i],commentList[i],criticList[i],scoreList[i])
             cursor.execute(sql,param)
             conn.commit()
         cursor.close()
         conn.close()
     except Exception as e:
         print e
     print 'MySQL数据库存储结束！'

 # -------------------------------------主模块--------------------------------------#
 if __name__=="__main__": # 相当于c语言中的main()函数
     try:
         topMovie()
         save_to_MySQL()
     except Exception as e:
         print e

4.结果

欢迎大家与我交流，一起学习和探讨。