Python之美[从菜鸟到高手]--urlparse源码分析

urlparse是用来解析url格式的，url格式如下：protocol :// hostname[:port] / path / [;parameters][?query]#fragment，其中;parameters一般用来指定特殊参数，使用的较少，至少我没怎么碰到，举几个链接：http://en.wikipedia.org/wiki/Robotics;Notes，http://en.wikipedia.org/wiki/Awesome;_I_Fuckin%27_Shot_That!

一：urlparse快速使用

urlparse(url, scheme='', allow_fragments=True)：将<scheme>://<netloc>/<path>;<params>?<query>#<fragment>解析成一个6元组：(scheme, netloc, path, params, query, fragment)。返回值是元组，继承自tuple，定义了一些属性，如netloc等。urlunparse是其逆操作。

from urlparse import *
url="http://www.test.com/search?key=python"
parse=urlparse(url)
print parse #('http', 'www.test.com', '/search','','key=python', '')
print parse.netloc #www.test.com
url2=urlunparse(parse)
print url2  #http://www.test.com/search?key=python

    urlsplit(url, scheme='', allow_fragments=True)：将<scheme>://<netloc>/<path>?<query>#<fragment>解析成一个5元组：(scheme, netloc, path, query, fragment)。urlunsplit是其逆操作。和urlparse很像，只是少了一个较少适用的参数，urlparse的内部实现就是调用urlsplit，如果url中没有[;parameters]，建议使用urlsplit，更明确，更简洁。

from urlparse import *
url="http://www.test.com/search?key=python"
parse=urlsplit(url)
print parse #('http', 'www.test.com', '/search','key=python', '')
print parse.netloc #www.test.com
url2=urlunsplit(parse)
print url2  #http://www.test.com/search?key=python

二：源码分析

上述两个函数返回的对象都是元组，且都有自己的方法，主要是因为结果集是继承自tuple,代码如下：

class BaseResult(tuple):
    __slots__ = ()
    @property
    def scheme(self):
        return self[0]

    @property
    def username(self):
        netloc = self.netloc
        if "@" in netloc:
            userinfo = netloc.split("@", 1)[0]
            if ":" in userinfo:
                userinfo = userinfo.split(":", 1)[0]
            return userinfo
        return None

class SplitResult(BaseResult):

    __slots__ = ()

    def __new__(cls, scheme, netloc, path, query, fragment):
        return BaseResult.__new__(
            cls, (scheme, netloc, path, query, fragment))

    def geturl(self):
        return urlunsplit(self)

class ParseResult(BaseResult):

    __slots__ = ()

    def __new__(cls, scheme, netloc, path, params, query, fragment):
        return BaseResult.__new__(
            cls, (scheme, netloc, path, params, query, fragment))

    @property
    def params(self):
        return self[3]

    def geturl(self):
        return urlunparse(self)

其中SplitResult是urlsplit的返回值，ParseResult是urlparse的返回值，可以看出主要区别还是有无params参数。从这里也可以学习到如何扩展数据结构，tuple接受一个序列作为参数，不止是上述的元组对像，且__new__需要返回构建的对象。我们可以实现自己的扩展元组，接受一list对象。

注意一下BaseResult的__slot__用法，__slot__作用是阻止类实例化对象时分配__dict__，而如果有了__dict__，那么随便添加属性就很方便了。BaseResult将__slot__设为空，就是为了随意给返回对象添加属性，而我们刚刚自定义的就不一样。

我们看看BaseResult，

三：其它

urljoin(base, url, allow_fragments=True)，合成url函数，还记得项目中是自己写的，汗，这边有现成的。

urldefrag(url)，将url中的fragment去的，即去掉“#”后面的链接。

_splitnetloc(url, start=0)，从url中获取netloc。

值得说明一点的是整个urlparse模块都没有采用正则去匹配数据，完全是序列话的分析，很值得一看。