使用socket获取html

import socket
 
client = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
host = "www.baidu.com"
# 阻塞io，意味着这个时候cpu是空闲的
client.connect((host, 80))
client.send("GET {} HTTP/1.1\r\nHost:{}\r\nConnection:close\r\n\r\n".format("/", host).encode("utf-8"))
 
data = b""
 
while 1:
    recv = client.recv(1024)
    if recv:
        data += recv
    else:
        break
 
print(str(data, encoding="utf-8"))

　　以上方法是同步的，一般我们都会使用requests，requests是基于urllib3，urllib3是基于socket，这都是阻塞的。

import socket
 
client = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
client.setblocking(False)  # 设置非阻塞socket
host = "www.baidu.com"
# 建立连接之后就不管了，正常情况会出现BlockingIOError。
# 但是我们捕捉异常所以不会出现，而是直接往下走
# 我们往下走了，并不代表连接不建立了，依旧会建立，只是这个过程不耗费cpu，所以去做别的了
try:
    client.connect((host, 80))
except BlockingIOError as e:
    pass
 
while 1:
    try:
        # 获取数据，连接没建立好，肯定会失败，但是我们捕捉异常，循环等待连接建立好为止
        client.send("GET {} HTTP/1.1\r\nHost:{}\r\nConnection:close\r\n\r\n".format("/", host).encode("utf-8"))
        break
    except OSError as e:
        pass
 
data = b""
while 1:
    try:
        recv = client.recv(1024)
    except BlockingIOError as e:
        continue
    if recv:
        data += recv
    else:
        break
 
print(str(data, encoding="utf-8"))

　　虽然很麻烦，但是至少实现了非阻塞