看我怎么扒掉CSDN首页的底裤（python selenium+phantomjs爬取CSDN首页内容）

这里只是学习一下动态加载页面内容的抓取，并不适用于所有的页面。

使用到的工具就是python selenium和phantomjs，另外调试的时候还用了firefox的geckodriver.exe。

首先学习了下怎么在firefox中动态调试内容和抓取元素，这个其实在网页自动化测试中相当实用，想想测试同学每天重复点击业务页面和输入内容得有多痛苦吧。

一开始进展十分不顺利，因为phantomjs和firefox的调试加载的动态内容都不能在源码中有任何的体现，只能找出第一次get页面的内容，条目就30条左右，各种下拉加载，各种研究源码，均以失败告终。

最终我用chrome的开发工具找到了页面内容加载的api地址：

https://www.csdn.net/api/articles?type=more&category=home&shown_offset=0

后边就好办了，先用phantom加载首页，然后去访问api地址，这样循环访问，直到api的status为false，首页推荐的底裤就基本上扒掉了……

代码如下：

# coding=utf8
import json
import os
import sys

from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities

reload(sys)
sys.setdefaultencoding("utf-8")

if os.path.exists("csdn_home.txt"):
    os.remove("csdn_home.txt")
    print "csdn_home.txt removed"

dcap = dict(DesiredCapabilities.PHANTOMJS)
dcap[
    "phantomjs.page.settings.userAgent"] = "Mozilla / 5.0 (Windows NT 10.0 Win64 x64) AppleWebKit / 537.36 (KHTML, like Gecko) Chrome / 63.0.3 239.132 Safari / 537.36"
br = webdriver.PhantomJS()
br.get("https://www.csdn.net/")
data = br.find_elements_by_xpath('//ul/li[@class="clearfix"]/div/h2/a')
print len(data)
with open("csdn_home.txt", "a") as f:
    for title in data:
        print title.text
        f.write(title.text + '\n')
        print title.get_attribute('href')
        f.write(title.get_attribute('href') + '\n')

    while True:
        br.get("https://www.csdn.net/api/articles?type=more&category=home&shown_offset=0")
        data = json.loads(br.find_element_by_xpath('//pre').text)
        if data["status"] == "false":
            break
        else:
            for i in data["articles"]:
                print i["title"]
                f.write(i["title"] + '\n')
                print i["url"]
                f.write(i["url"] + '\n')
f.close()
br.quit()  # 退出phantomjs，否则phantomjs会一直留有进程，占用cpu和内存