select编程[回调+事件循环]

感觉比java写起来还要忧伤.....

"""
select , poll,epoll
注意: epoll并不一定比select的性能好,这需要看场景
1. 在高并发场景,且连接活跃度不是很高的时候,epoll比select好, 比如web应用
2. 在并发不高,但连接很活跃的场景下,select 比epoll好, 比如游戏

编程模式: select + 事件循环 + 回调

"""
import socket
from  urllib.parse import urlparse
# 使用DefaultSelector时, python会根据应用平台自动选择select模式或者epoll模式
# DefaultSelector 对select 和 epoll进行了封装
from  selectors import DefaultSelector, EVENT_READ, EVENT_WRITE

selector = DefaultSelector()

# 使用select 完成http请求 (window不支持epoll)
urls = ["http://www.baidu.com"]
stop = False  # 设置一个全局变量,用控制loop结束,否则在window环境下会报错

class Fetcher:
    def get_url(self, url):
        '''通过socket完成http请求'''
        self.url = url
        url = urlparse(url)
        self.host = url.netloc
        self.path = url.path
        if self.path == "":
            self.path = "/"
        # 建立socket连接
        self.client = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
        self.client.setblocking(False)  # 设置成非阻塞模式
        self.data = b""  # 表示字节
        try:
            self.client.connect((self.host, 80))
        except BlockingIOError as e:
            pass
        # 注册, 监听write事件回调
        selector.register(self.client.fileno(), EVENT_WRITE, self.writable)

    def writable(self, key):
        '''写回调函数'''
        selector.unregister(key.fd)
        self.client.send(
            "GET {} HTTP/1.1\r\nHOST:{}\r\nConnection:close\r\n\r\n".format(self.path, self.host).encode("utf-8"))
        # 注册, 监听read事件回调
        selector.register(self.client.fileno(), EVENT_READ, self.readable)

    def readable(self, key):

        d = self.client.recv(1024)
        if d:
            self.data += d
        else:  # 数据读取完毕
            selector.unregister(key.fd)
            data = self.data.decode("utf-8")
            html_data = data.split('\r\n\r\n')[1]
            print(html_data)
            self.client.close()
            urls.remove(self.url)  # 处理完毕一个url后,就将url从urls中移除
            if not urls:  # 如果urls中没有数据了, 就可以停止loop循环事件了
                global stop
                stop = True

def loop():
    '''
    事件循环,不停的请求socket的状态,并调用对应的回调函数

    :return:
    '''
    # 1. select 本身并不支持register模式,但是DefaultSelector对select进行了封装
    # 2. socket 状态变化以后的回调是由程序来完成, 并不是由操作系统来完成
    while not stop:
        ready = selector.select()
        for key, mask in ready:
            call_back = key.data
            call_back(key)

if __name__ == '__main__':
    fetcher = Fetcher()
    fetcher.get_url('http://www.baidu.com')
    loop()