百度词汇检索，计算PMI值

'''词汇检索百度返回值,并且计算PMI值的类'''
from bs4 import BeautifulSoup
import requests
import re
import pandas as pd
import time
import numpy as np

class PMI():
    def __init__(self):
        self.url = 'https://www.baidu.com/s?wd='
        #self.vocab = vocab

    def getHtml(self, url):  # 只输入URL的主体部分，后面的参数用下面的字典附加上
        '''注意这里必须加一个user-Agent,不然request发送请求是是以Python名义发送的，百度知道是Python发的就不给你返回需要的内容，伪装一下'''
        try:
            header = {
                "User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.81 Safari/537.36",
            }
            r = requests.get(url, headers=header)
            r.raise_for_status()
            r.encoding = 'utf-8'
            return r.text
        except:
            print('爬取失败')

    def getNum(self, html):  # 返回搜索的数字
        soup = BeautifulSoup(html, 'html.parser')
        content = soup.find_all('span', {
            'class': 'nums_text'})  # 返回内容为   <span class="nums_text">百度为您找到相关结果约100,000,000个</span>
        num = re.findall(r'[\d+,*]+', content[0].string)[
            0]  # 返回我们需要的搜索次数，内容是字符串型的数字.形如'100,000,000'，数字内部包含逗号，下一步需要剔除掉逗号
        return int(re.sub(r',', '', num))  # 将逗号替换掉，并强制转换为整数

    def retrieveNum(self, vocab):  # url主体和爬取网页的数量
        url = self.url + vocab
        html = self.getHtml(url)
        num = self.getNum(html)
        return num

    def getPmi(self,vocab):
        n_p = 100000000
        n_f = self.retrieveNum(vocab)
        n_pf = self.retrieveNum(' '.join(['手机', vocab]))
        # print(' '.join(['手机',word]))
        # print(n_pf)
        pmi = np.log10(n_pf / (n_p * n_f))
        return pmi

    def getPmiList(self,words_list):#返回输入词列表的pmi值,以列表形式
        pmi_list=[]
        for i in words_list:
            pmi_list.append(self.getPmi(i))
        return pmi_list

if __name__ =='__main__':
    time_start = time.time()
    url = 'https://www.baidu.com/s?wd='
    #print(getHtml( url+'爸爸'))
    # file=pd.DataFrame(columns=name,data=comm)
    # file.to_csv('D:/machinelearning data/crawlerData/huaWei_P20_JD100-110.csv',index=False)
    # num = retrieveNum('办法')
    # print('搜索次数为:', num)
    d=PMI()
    a=['快递','傻子','总体','物流', '验机', '物流', '游戏']#['鸡楚', '留香王者', '系列', '性能', '电池', '电', '视频', '游戏','中华民族', '性价比', '王者', '卡', '天', '红米.', '老婆', '电池', '电', '王者', '时间', '游戏', '相机', '感触', '粉色', '妹妹']
    pmi=d.getPmiList(a)
    print('PMI:',list(pmi))
    time_end = time.time()
    print('耗时%s秒' % (time_end - time_start))