py爬取英文文档学习单词

　　最近开始看一些整本整本的英文典籍，虽然能看个大概，但是作为四级都没过的我来说还是有些吃力，总还有一部分很关键的单词影响我对句子的理解，因为看的是纸质的，所以查询也很不方便，于是想来个突击，我想把程序单词收拢在一起学习一下，希望这样的更有针对性一些，因为你想，arbitrary (任意的，武断的)这样的单词不太可能会出现在技术文档上，学了这样的单词对理解英文技术文档没有太大帮助。所以今天花了几个小时研究了一下，发现是很可行的，实现也不算难。步骤主要是以下几点，第一：先搞定翻译接口。翻译的来源分为接口型和爬虫型，我看了看百度的那个翻译页面，不是很好爬，但是百度官方提供了翻译的接口，只要申请成为百度的开发者即可，然后利用百度给的app key即可实现翻译，而且接口也很丰富，但是我还是觉得略微麻烦。另外一个就是谷歌了，我仔细看了看谷歌翻译页面的接口，发现竟然出奇的简单，只有一个set-cookie的接口，然后就是翻译的接口，你肯定猜到了，我用的就是爬取谷歌的翻译页面。第二：爬取你想分析的英文文档的单词。翻译嘛，总的有大批的单词啊，那么我这边也是通过爬虫获取的，给定一个页面，比如https://docs.python.org/3/library/abc.html#module-abc这样的技术文档，我们需要把所有看上去像单词的单词都正则匹配出来，然后逐个调用翻译接口翻译出来。好了，思路的介绍就是这样了，如果你已经产生了兴趣，你可以不往下看，自己先摆弄一番，如果你觉得想先看看我的实现，那我也十分欢迎。OK，我们先上一张结果图，。这个就是所谓的爬取和翻译的结果了。那么我们紧接着贴一下代码吧：

# -*- coding: utf-8 -*-
import re, urllib.parse, urllib.request, http.cookiejar
# 以下四行代码是为了缓存cookie用的，谷歌翻译接口给不给你翻译，他只看请求源有没有他认可的cookie,一般的urllib.request请求是不会缓存cookie的
cj = http.cookiejar.LWPCookieJar()
cookie_support = urllib.request.HTTPCookieProcessor(cj)
opener = urllib.request.build_opener(cookie_support, urllib.request.HTTPHandler)
urllib.request.install_opener(opener)

# 通过get请求来获取数据，这里需要注意的是，headers是应该带上的，虽然是get请求，但是某些网站的后台是会检测请求有没有带headers的，不带headers被认为是爬虫，他不理睬的，所以我们也要模拟一下
def getData(url):
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0'}
    request = urllib.request.Request(url = url, headers = headers)
    response = urllib.request.urlopen(request)
    text = response.read().decode('utf-8')
    return text

# 谷歌翻译页面只需要登陆一次
google_logined = False

# 翻译函数
def translate(word):
    if not google_logined:
　　　　 # 刚才说的那个set-cookie的接口就是下面这个简短的http://tr...../,他会设置一段cookie
        getData('http://translate.google.cn/')
        global google_logined
        google_logined = True
    try:
　　　　 # 常常的url就是翻译接口，最后带上需要翻译的单词
        data = getData("http://translate.google.cn/translate_a/single?client=t&sl=en&tl=zh-CN&hl=zh-CN&dt=bd&dt=ex&dt=ld&dt=md&dt=qc&dt=rw&dt=rm&dt=ss&dt=t&dt=at&dt=sw&ie=UTF-8&oe=UTF-8&oc=2&otf=1&srcrom=1&ssel=0&tsel=0&q=" + word)
　　　　 # 其实翻译出来的东西蛮多的，可是我们只需要最前面的中文就好了，于是正则匹配一下拿出来即可
        reg = re.compile('^\[\[\[\"(.+?)\",\"(.+?)\"\]')
        tran = reg.findall(data)[0]
　　 # 一开始我没有用try except，发现有些单词的翻译json结构变了，估计是不好翻译以后，谷歌给的json很短，正则匹配出错了，所以try一下吧
    except:
        return ('error========================>>>'+word)
    return tran

# 这个正则用途你也许猜到了，就是正则匹配一个页面的所有的单词，但是性能并不是很好，他会把<span>apple</span>中的span和apple都匹配出来，不过稍加处理也就可以解决，咱先让性能一边玩去
parse_word_reg = re.compile('([a-zA-Z]{3,})')

# 解析页面单词的函数，参数为url，用上面的正则去匹配，返回来的是一个结果列表，另外我用set这个集合生成函数做了一下过滤，用过python的童鞋懂的。。。
def parse_words(url):
    content = getData(url)
    words = parse_word_reg.findall(content)
    words = list(set(words))
    return words

# 好了，万函具备，只欠测试了，我们传一个技术文档的url进去实施吧，发现他就逐个逐个开始翻译了。
words = parse_words("https://docs.python.org/3/library/abc.html#module-abc")
for word in words:
    print(translate(word))