Python实时获取贴吧邮箱名单并向其发送邮件

本人Python大菜鸟，今天用python写了一个脚本。主要功能是获取贴吧指定贴子评论中留下的邮箱，通过系统的crontab每一分钟自动检测新邮箱并向其发送邮件，检测机制是去查询数据库的记录，也就是不会向已经发送过的邮箱再次发送邮件（当然如果有人连续留下两次邮箱，脚本会不断给他发送邮件，直到有人留下了新邮箱地址，这个也算是脚本的bug吧，不过谁让你连续留两次呢）。

运行环境是python2.6，centos6.3 64位

主文件main.py脚本内容如下：

import mysql_class
import cookielib
from email.mime.text import MIMEText
from email.MIMEMultipart import MIMEMultipart
import sys,urllib2,string,re,time,smtplib,json
def sendsimplemail(content,List,subject):
    today = time.strftime('%m-%d')
    msg = MIMEText(content)
    msg['Subject'] = today + "\t" + subject
    msg['From'] = 'xxx@xxx.com'
    try:
        smtp = smtplib.SMTP()
        smtp.connect(r'127.0.0.1')
        smtp.login('tank', 'tank')
        smtp.sendmail('xxx@xxx.com', List, msg.as_string())
        smtp.close()
    except Exception, e:
        print e

db=mysql_class.mySqlConn()
resall=db.GetFetch("select * from config")
for res in resall:
    tieba_id=str(res[0])
    myUrl="http://tieba.baidu.com/p/"+tieba_id
    minIndex=int(res[1])
    lastmail=res[2]
    firstPattern=re.compile(r'(\?pn=\d+)$')
    myUrl=re.sub(firstPattern,'',myUrl)
    try:
        print(time.strftime('%Y-%m-%d-%H-%M-%S:',time.localtime(time.time())))
        '''count the totalpage'''
        cj = cookielib.CookieJar()
        opener=urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
        response=opener.open(myUrl)
        myPage=response.read()
        pagecount=re.compile(r'span class="red">(\d+)</span>')
        match = pagecount.search(myPage)
        if match:
            totalpage=match.group(1)
          maxIndex=int(totalpage)

        '''count the mail addr'''
        for i in range(minIndex,maxIndex+1):
            index=myUrl.rfind(r'?pn=')
            if index==-1:
                myUrl=myUrl+r'?pn='+str(i)
            else:
                myUrl=re.sub(firstPattern,r'?pn='+str(i),myUrl)
            print(myUrl)
        response=opener.open(myUrl)
            myPage=response.read()
            myPage=myPage.decode('GBK')
            myPage=myPage.replace(r'\r\n','')
        if i == minIndex:
            print 'go....'
            lastmail_content=re.compile(lastmail+r'(.*)')
            match = lastmail_content.search(myPage)
            if match:
                myPage=match.group(1)
            else:
            print 'not match'
            pattern=re.compile(r'([a-zA-Z0-9]+@[a-zA-Z0-9]+\.?[a-zA-Z0-9]+\.+[a-zA-Z0-9]+)')
            result=pattern.findall(myPage)
            if result is not None:
                #for email in result:
            #print email
            List = [email for email in result]
            print List
             file_object = open('/root/bin/tieba/mail_content.txt')
            content=file_object.read()
            file_object2 = open('/root/bin/tieba/mail_subject.txt')
             subject=file_object2.read()
            sendsimplemail(content,List,subject)

            else:
                print("not found")
        if i == maxIndex:
            lastmail=result[len(result)-1]
        sql="UPDATE config SET pn_begin="+str(maxIndex)+",last_mail='"+str(lastmail)+"' WHERE tieba_id="+str(tieba_id)
        db.Query(sql)
        db.Close()
        print('Suceed!!!')
    except Exception as e:
        print("something wrong or not new mailer")

其中用到了mysql_class，将python操作mysql写成一个类，放在同级目录下的mysql_class.py里（有一些方法没有用到），内容如下：

import MySQLdb
class  mySqlConn:
    """This class is connect to mysql"""
    def __init__(self, host="xxxxx", user="mail", password="mail123", db="mail"):
        """Construct function,
        connect to mysql,
        and set names utf8"""
        self.__mqUser__ = user
        self.__mqPass__ = password
        self.__mqHost__ = host
        self.__mqDb__ = db
        try:
            self.__conn__ = MySQLdb.Connect(user=self.__mqUser__, passwd=self.__mqPass__, host=self.__mqHost__, db=self.__mqDb__)
        except:
            print("Count not connect to MySQL server.")
            exit(0)
        self.__cursor__ = self.__conn__.cursor()
        try:
            self.__cursor__.execute("set names utf8")
        except:
            print("Excute `set names utf8` faild.")
            exit(0)
    def Query(self, sql):
        """ Execute a sql """
        try:
            self.__cursor__.execute(sql)
        except:
            print(sql)
            print("Sql excute faild!")
    def GetMqCursor(self):
        """Get Mysql Cursor"""
        return self.__cursor__
    def GetFetchOne(self,sql):
        """Get fetch row"""
        self.__cursor__.execute(sql)
        return self.__cursor__.fetchone()
    def GetFetch(self,sql):
        """Get fetch row"""
        self.__cursor__.execute(sql)
        return self.__cursor__.fetchall()
    def Close(self):
        """Close the mysql connect"""
    self.__conn__.commit()
        self.__cursor__.close()
    self.__conn__.close()

main.py还用到了发送邮件功能，邮件服务器是我自己搭建的postfix+saslauthed+cyrsu-imap,没时间自己弄邮件服务器的可以用第三方的发信功能（个人认为，没用Python测试过）。

数据库名mail，表名：config，表结构如下（主要是用来存放贴吧id，上次记录的帖子的最大页数，还有上次记录的最后一个邮箱）：
| Field     | Type         | Null | Key | Default | Extra |
+-----------+--------------+------+-----+---------+-------+
| tieba_id  | varchar(100) | NO   | PRI | 1       |       |
| pn_begin  | int(11)      | NO   |     | 1       |       |
| last_mail | varchar(100) | NO   |     |         |       |
+-----------+--------------+------+-----+---------+-------+

另外发信的标题和内容我是放在文本里的，这样方便更新(也是因为我发现直接写在程序里会乱码，知道怎么解决的请留言告诉我哦，感激不尽)。

发信标题文本：mail_subject.txt，内容省略啦。

发信内容文本：mail_content.txt,内容省略啦。

脚本经过本人测试可行，qq邮箱可以发送，编码也没有问题，但是163邮箱貌似会乱码，有知道的朋友请指教。

-------------------------------------------------------黄金分割线-------------------------------------------------------------------

嘿嘿，其实我是向贴吧里的人推荐给力的VPN的，借此机会也向你们推荐一下哈，NydusVPN，目前俺用过的最给力的，有需要的朋友试试看:官网地址