用python自建一个DNS服务器

前段日子一直在做公司的DNS调度程序，不过由于性能比较差，方案最终废弃掉了。两个半月心血，不想白白浪费掉，于是改了改，把商业秘密相关的部分去掉，变成了一个公共的DNS服务器。其实说的简单点，就是一个可以做DNS解析和应答的程序（废话，DNS服务器不就是干这个的）。功能比较简单，只做了A地址和CNAME的解析，安全性不涉及，性能也没有测试过，因为本身是个玩具，测性能没有意义（理论上如果用pypy的话，水平一般的机器也能跑到1万以上的QPS）。本程序多处借鉴了 isnowfy 同学的程序（相关博客：http://www.isnowfy.com/introduction-to-gevent/， github：https://github.com/isnowfy/dns），在此表示敬意。

介绍一下这个程序吧。

首先，服务器的基本思想是开通一个UDP服务器接收请求，等待接收包。如果接收到的包是DNS包，那么进行DNS包的解析，在数据库中查询域名，然后构造相应的DNS应答包，最后返回。不过这种方案就是单线程的接收->解析->应答过程，效率比较低。于是我对此进行了改造：接收到的包统一放进一个缓存中，然后，开通多条协程来取数据，进行并行处理。每条协程取一个包进行解析和应答。但是根据经（xiā）验（cāi）我知道，经常访问的域名只有那么一部分，同一个域名应该返回的是同一个应答包，那么，对所有包都解析是比较白痴的。因此，我又开了另一个缓存——一个LRU缓存。关于LRU缓存的原理和用法，可以见我之前的博客 http://www.cnblogs.com/anpengapple/p/5565461.html 。这样，获取到一个DNS包之后，就可以先在LRU缓存中进行查找，发现查询过，就直接返回（之前记得替换ID），没有查询过再进行解析、应答和存入LRU缓存。

在整个这个过程中，我使用到了：①gevent用来开协程；②gevent.Queue用来当做接收包的缓存队列；③dnslib库用来解析DNS包；④pylru库用来做LRU缓存；⑤仅使用了一个简单的文本文件作为数据库。

 

整体程序流程如下：

# 0、启动UDP服务。

class DNSServer(object):
    @staticmethod
    def start():
        # 缓存队列，收到的请求都先放在这里，然后从这里拿数据处理
        DNSServer.deq_cache = Queue(maxsize=deq_size) if deq_size > 0 else Queue()
        # LRU Cache，使用近期最少使用覆盖原则
        DNSServer.dns_cache = pylru.lrucache(lru_size)

        # 启动协程，循环处理缓存队列
        gevent.spawn(_init_cache_queue)

        # 启动DNS服务器
        print 'Start DNS server at %s:%d\n' % (ip, port)
        dns_server = SocketServer.UDPServer((ip, port), DNSHandler)
        dns_server.serve_forever()

# 1、接收请求包，存入缓存队列。

class DNSHandler(SocketServer.BaseRequestHandler):
    def handle(self):
        # 若缓存队列没有存满，把接收到的包放进缓存队列中（存满则直接丢弃包）
        if not DNSServer.deq_cache.full():
            # 缓存队列保存元组：(请求包，请求地址，sock)
            DNSServer.deq_cache.put((self.request[0], self.client_address, self.request[1]))

# 2、从缓存队列中取数据。

def _init_cache_queue():
    while True:
        data, addr, sock = DNSServer.deq_cache.get()
        gevent.spawn(handler, data, addr, sock)

# 3、如果请求是DNS包，解析出其查询域名。

dns.header.set_qr(dnslib.QR.RESPONSE)
qname = dns.q.qname

try:
    dns = dnslib.DNSRecord.parse(data)
except Exception as e:
    print 'Not a DNS packet.\n', e

# 4、判断是否存在于LRU缓存中。若存在，进行5；否则，进行6。

response = DNSServer.dns_cache.get(qname)

if response:
    # goto 5
else:
    # goto 6

# 5、获得LRU缓存中这条DNS的应答数据，将ID替换为本条DNS查询的ID，然后返回给客户端。

response[:2] = data[:2]
sock.sendto(response, addr)

# 6、从数据库中查找这条DNS的应答，封装成DNS包，存入LRU缓存，然后返回给客户端。

answers, soa = query(str(qname).rstrip('.'))
answer_dns = pack_dns(dns, answers, soa)

DNSServer.dns_cache[qname] = answer_dns.pack()
sock.sendto(answer_dns.pack(), addr)

反正大概过程就是酱婶的。我在“数据库”里面加了几条数据做实验（第一条是SOA） ：

 

然后测试：

dig ccc.apple.tree @dns-ip -p dns-port

得到结果，成功解析，呕液~

 

有一点需要注意，作为数据库的文本文件如果是在windows下写的，拿到linux下用，可能会出现换行符恶心人的问题。需要先使用dos2unix这个工具转换一下，或者自己写代码。具体情况和解决办法见：http://www.cnblogs.com/anpengapple/p/5664235.html

这里使用的csv文件仅仅是为了演示方便，没有任何性能及安全方面的考虑。改进可以考虑：

第一、在开启服务器时将内容全部加载到内存，这样可以去掉LRUCache；
第二、使用redis或mysql之类的数据库；
第三、注意数据的验证，例如判断ip的正则，域名的内容等等。

 

其实作为一个DNS服务器来讲，这个程序欠缺的还很多，只能作为一个模型来参考，或者说一个玩具用来玩。大概就酱吧。本身用python来做DNS服务器就是个笑话。

完整的代码我放在github上面了，地址：https://github.com/anpengapple/apple_dns，有兴趣的同学可以拿去玩，有意见的同学可以提，反正我是不会改的。吾之懒癌逾重矣。

后记：（1）我司决定放弃powerdns，改投bind的怀抱了。虽然第二季度的绩效基本上就泡汤了，但是能用上bind还是极好的。毕竟bind用的人多，就算出问题也能有个地方问问题。而且，powerdns我已经快走投无路了。

（2）最近发现有网站转载了我的几篇博客，首先还是很高兴的，说明我写的东西还是比较有用的，得到了别人的认可，但是高兴之余觉得有点不对劲，转载不通知我一声，连转载的字样都没有出现，这令我有点不满。所以声明一下本人博客目前就只有一个，地址在：http://www.cnblogs.com/anpengapple/ 以后如果开了其他博客或者微信公众号什么的，我也会在这个博客中告知。

（3）有无聊的同学可以帮我测试一下QPS，记得在数据库中添加好数据，还有用pypy来跑。测试工具queryperf的使用见：http://www.cnblogs.com/anpengapple/p/5211557.html，pypy的安装及使用见：http://www.cnblogs.com/anpengapple/p/5586678.html