12行Python暴力爬《黑豹》豆瓣短评

作者：黄嘉锋

来源：https://www.jianshu.com/p/ea0b56e3bd86

草长莺飞，转眼间又到了三月“爬虫月”。
这时往往不少童鞋写论文苦于数据获取艰难，辗转走上爬虫之路；
许多分析师做舆情监控或者竞品分析的时候，也常常使用到爬虫。

今天，本文将带领小伙伴们通过12行简单的Python代码，初窥爬虫的秘境。

)
   response = etree.HTML(requests.get(url).content.decode( ,):
       name.append(response.xpath(].text)
       score.append(response.xpath(].attrib[])
       comment.append(response.xpath(].text)
)): danye_crawl(i); time.sleep(random.uniform(, ))
res = pd.DataFrame({)
   response = requests.get(url)
   response = etree.HTML(response.content.decode(:
       print(,):
       name_list = response.xpath(].text
       score_element = score_list[].attrib[]
       comment_element = comment_list[].text

       name.append(name_element)
       score.append(score_element)
       comment.append(comment_element)

)):
   danye_crawl(i)
   time.sleep(random.uniform(, ))

res = {'name':name, 'score':score, 'comment':comment}
res = pd.DataFrame(res, columns = ['name','score','comment'])
res.to_csv("豆瓣.csv")

关注【Python开发者交流平台】公众号 ，在微信后台回复【领取资源】，获取IT资源200G干货大全。