用python的curl和lxml来抓取和分析网页内容

Curl是一个强大的URL语法的客户端，支持DICT, FILE, FTP, FTPS, Gopher, HTTP, HTTPS, IMAP, IMAPS, LDAP, LDAPS, POP3, POP3S, RTMP, RTSP, SCP, SFTP, SMTP, SMTPS等多种协议。

Lxml是python一个非常好用的xml模块，同时支持html的处理。虽然html是xml的一个子集，但是有些html网页写的不够标准，例如写了<option>但是又没写</option>，这种情况下使用xml工具来分析绝对是会报错的，但是html工具通常就可以很好的兼容这些非标准的情况。

用urlparse的urljoin可以很好的帮你处理相对路径问题。

如果你的python里面缺少了curl或者lxml等模块，可以到pypi去找。

#!/usr/bin/env python
# coding: utf-8

import os
import sys
import urlparse

import lxml.html
import lxml.etree
import curl

def download(url):
    c = curl.Curl()
    c.set_timeout(8)
    c.get(url)
    return c.body()

def parse_url():
    base_url = 'http://finance.ce.cn/stock/'
    ht_string = download(base_url)
    ht_doc = lxml.html.fromstring(ht_string, base_url)
    elms = ht_doc.xpath("//li[@style='font-size:15px; line-height:29px;']/a")
    for i in elms:
        print urlparse.urljoin(base_url, i.get('href'))
        print lxml.etree.tostring(i, encoding='utf-8')

if __name__ == '__main__':
    parse_url()