抓取知乎今日最热和本月最热的前三个问题及每个问题的首个回答,保存至html文件,该html文件的文件名应该是20160228_zhihu_today_hot.html,也就是日期+zhihu_today_hot.html

代码如下:

 from selenium import webdriver
 from time import sleep
 import time

 class ZhiHu():

     def __init__(self):
         self.dr = webdriver.Chrome()
         self.dr.maximize_window()
         self.today_hot_list = self.get_today_hot()
         self.month_hot_list = self.get_month_hot()

     def get_today_hot(self):
         '''知乎今日最热问题前3个'''
         today_hot = []
         i = 0
         while i < 3:
             self.dr.get('https://www.zhihu.com/explore')
             sleep(3)
             question_title = self.dr.find_elements_by_css_selector('div.explore-feed.feed-item>h2>a.question_link')[i].text #获取问题
             question_answer_url = self.dr.find_elements_by_css_selector('div.explore-feed.feed-item>h2>a.question_link')[i].get_attribute('href') #获取问题回答的url
             self.dr.get(question_answer_url) #访问问题url
             sleep(5)
             question_answer_innerhtml = self.dr.find_element_by_css_selector('.zm-editable-content.clearfix').get_attribute('innerHTML') #获取首个回答的innerHTML
             today_hot.append((question_title, question_answer_innerhtml))
             i += 1
         return today_hot

     def write_today_data(self):
         file_date = time.strftime('%Y-%m-%d',time.localtime(time.time()))
         self.file = open(file_date+'_zhihu_today_hot'+'.html','wb')
         file_line = '**********************************************<br />' #<br \>为转行符
         for item in self.today_hot_list:
             self.file.write(file_line.encode('gbk'))
             self.file.write(('问题:'+item[0]+'<br />').encode('gbk'))
             self.file.write(('首个回答:'+item[1]+'<br />').encode('gbk'))
         self.file.close()

     def get_month_hot(self):
         '''知乎本月最热问题前3个'''
         month_hot = []
         i = 5  # 本月最热前已有5个含explore-feed feed-item的div标签,所以这里含explore-feed.feed-item的div标签及其定义的i从5开始
         while i < 8:
             self.dr.get('https://www.zhihu.com/explore#monthly-hot')
             sleep(3)
             question_title = self.dr.find_elements_by_css_selector('div.explore-feed.feed-item>h2>a.question_link')[i].text  # 获取问题
             question_answer_url = self.dr.find_elements_by_css_selector('div.explore-feed.feed-item>h2>a.question_link')[i].get_attribute('href')  # 获取问题回答的url
             self.dr.get(question_answer_url)  # 访问问题url
             sleep(5)
             question_answer_innerhtml = self.dr.find_element_by_css_selector('.zm-editable-content.clearfix').get_attribute('innerHTML')  # 获取首个回答的innerHTML
             month_hot.append((question_title, question_answer_innerhtml))
             i += 1
         return month_hot

     def write_month_data(self):
         file_date = time.strftime('%Y-%m-%d', time.localtime(time.time()))
         self.file = open(file_date + '_zhihu_mouth_hot' + '.html', 'wb')
         file_line = '--------------------------------------<br />'
         for item in self.month_hot_list:
             self.file.write(file_line.encode('gbk'))
             self.file.write(('问题:' + item[0] + '<br />').encode('gbk'))
             self.file.write(('首个回答:' + item[1] + '<br />').encode('gbk'))
         self.file.close()

     def quit(self):
         self.dr.quit()

 if __name__ == '__main__':
     zhihu = ZhiHu()
     zhihu.write_today_data()
     zhihu.write_month_data()
     zhihu.quit()

网页如下:

生成html如下:

嘻嘻,html的排版不是多好哈~

用python+selenium抓取知乎今日最热和本月最热的前三个问题及每个问题的首个回答并保存至html文件的更多相关文章

  1. python学习-抓取知乎图片

    #!/bin/usr/env python3 __author__ = 'nxz' """ 抓取知乎图片webdriver Chromedriver驱动需要安装,并指定d ...

  2. 用python+selenium抓取微博24小时热门话题的前15个并保存到txt中

    抓取微博24小时热门话题的前15个,抓取的内容请保存至txt文件中,需要抓取排行.话题和阅读数 #coding=utf-8 from selenium import webdriver import ...

  3. 用python+selenium抓取豆瓣读书中最受关注图书并按评分排序

    抓取豆瓣读书中的(http://book.douban.com/)最受关注图书,按照评分排序,并保存至txt文件中,需要抓取书籍的名称,作者,评分,体裁和一句话评 方法一: #coding=utf-8 ...

  4. 用python+selenium抓取豆瓣电影中的正在热映前12部电影并按评分排序

    抓取豆瓣电影(http://movie.douban.com/nowplaying/chengdu/)中的正在热映前12部电影,并按照评分排序,保存至txt文件 #coding=utf-8 from ...

  5. Python爬虫实战八之利用Selenium抓取淘宝匿名旺旺

    更新 其实本文的初衷是为了获取淘宝的非匿名旺旺,在淘宝详情页的最下方有相关评论,含有非匿名旺旺号,快一年了淘宝都没有修复这个. 可就在今天,淘宝把所有的账号设置成了匿名显示,SO,获取非匿名旺旺号已经 ...

  6. selenium抓取动态网页数据

    1.selenium抓取动态网页数据基础介绍 1.1 什么是AJAX AJAX(Asynchronouse JavaScript And XML:异步JavaScript和XML)通过在后台与服务器进 ...

  7. python Web抓取(一)[没写完]

    需要的模块: python web抓取通过: webbrowser:是python自带的,打开浏览器获取指定页面 requests:从因特网上下载文件和网页 Beautiful Soup:解析HTML ...

  8. selenium抓取视频

    今天闲着没事,用selenium抓取视频保存到本地,只爬取了第一页,只要小于等于5分钟的视频... 为什么不用requests,没有为什么,就因为有些网站正则和xpath都提取不出来想要的东西,要么就 ...

  9. Python数据抓取技术与实战 pdf

    Python数据抓取技术与实战 目录 D11章Python基础1.1Python安装1.2安装pip1.3如何查看帮助1.4D1一个实例1.5文件操作1.6循环1.7异常1.8元组1.9列表1.10字 ...

随机推荐

  1. SQL Server 2012提供的OFFSET/FETCH NEXT与Row_Number()对比测试 [T]

    SQL Server 2008中SQL应用系列--目录索引 前些天看到一篇文章<SQL Server 2012 - Server side paging demo using OFFSET/FE ...

  2. .net中的序列化

    常见的序列化格式和方法 在.net中,常见的序列化格式主要有json,二进制和xml,总结如下表格. 注意事项 关于实体特性标注规则: 1,.net中所有用于序列化的实体的class上应该加上[Ser ...

  3. AseBulkCopy 若干问题的解决方法

    场景:数据库 Ase 15.0, Ado.net客户端15.7  Sybase.AdoNet4.AseClient 错误1:使用Transaction报错 错误2: 存储过程"sp_drv_ ...

  4. Topcoder SRM570 900 CurvyonRails

    题意:给定一个网格,一些格子是障碍不用管,剩余的格子是城市,你可以修建铁路,铁路的形状可以是直的或者弯的,也就是说可以以这个点为节点连接它四联通的其中两个方块.要求用一个或多个环来覆盖所有城市.对于有 ...

  5. 1310. ACM Diagnostics

    http://acm.timus.ru/problem.aspx?space=1&num=1310 题目中说的 “the lexicographically increasing list” ...

  6. Windows平台下Git服务器搭建

    第一步:下载Java,下载地址:http://www.java.com/zh_CN/ 第二步:安装Java.安装步骤不再详述. 第三步:配置Java环境变量. 右键”计算机” => ”属性” = ...

  7. JavaScript 闭包系列二(匿名函数及函数的闭包)

    一. 匿名函数 1. 函数的定义,可分为三种 1) 函数声明方式 function double(x) {     return 2*x; } 2)Function构造函数,把参数列表和函数体都作为字 ...

  8. mysql5.7.10免安装版出现的问题及应对

    在对应目录下新建my.ini [mysqld] # 设置mysql的安装目录 basedir=D:\mysql-5.7.10 # 设置mysql数据库的数据的存放目录,必须是data datadir= ...

  9. hibernate整合spring开发的时候遇到的一些小问题

    1 在spring整合hibernate开发的时候,在数据源里面配置show_sql为true,但是在实际查询的时候并没有打印sql语句,正确的解决方案为: 把<prop key="s ...

  10. 转:AJAX中xhr对象详解

    XJAX ,并不是一种新技术的诞生.它实际上代表的是几项技术按一定的方式组合在一在同共的协作中发挥各自的作用. 它包括: 使用XHTML和CSS标准化呈现: 使用DOM实现动态显示和交互: 使用XML ...