Python3 实现数据读写分离设计

前言

首先读写分离可以保证数据库的稳定，简单的说就是当网站访问量大时，读写都在一个库，很有可能会出现脏数据的情况，如果采取阻塞似操作，那么用户体验就会变得更差。

而且目前大多数网站的读写是失衡的，以淘宝为例，读写比例大概是 1:500。

所以将数据库设计成读写分离的模式，就变得很讨巧。

设计方案

通过示意图可看，主库为main数据库，主要负责insert/update/delete操作，从库为可读数据库，主要负责读取数据，并且从库可以拥有很多。

注意

1.要区分读与写。select 操作在从库， inser，update，delete 操作则在主库上。

2.从库多时，需要考虑均衡负载。

3.现在任何技术都做不到，主从数据库的realtime更新，所以要做好更迭设计。

为什么选择python3

市面上有许多数据库读写分离的插件，但是其配置之难，堪称变态（至少，我是没配置成功过）。

并且使用一门自己了解的语言，开发出插件后，会对它的设计模式更加了解。

这里，我们可以选择python3 socket tcp。为什么是tcp 不是udp？因为我们要确保数据的完整性，读取的数据丢失掉，或者不完整，那就不太好了。

服务器端

s.bind()

# 绑定地址（host,port）到套接字， 在AF_INET下,以元组（host,port）的形式表示地址。

s.listen()

# 开始TCP监听。backlog指定在拒绝连接之前，操作系统可以挂起的最大连接数量。该值至少为1，大部分应用程序设为5就可以了。

s.accept()

# 被动接受TCP客户端连接,(阻塞式)等待连接的到来

客户端

s.connect()

# 主动初始化TCP服务器连接，。一般address的格式为元组（hostname,port），如果连接出错，返回socket.error错误。

s.connect_ex()

# connect()函数的扩展版本,出错时返回出错码,而不是抛出异常

公共用途的函数

s.recv()

# 接收TCP数据，数据以字符串形式返回，bufsize指定要接收的最大数据量。flag提供有关消息的其他信息，通常可以忽略。

s.send()

# 发送TCP数据，将string中的数据发送到连接的套接字。返回值是要发送的字节数量，该数量可能小于string的字节大小。

s.sendall()

# 完整发送TCP数据，完整发送TCP数据。将string中的数据发送到连接的套接字，但在返回之前会尝试发送所有数据。成功返回None，失败则抛出异常。

s.close()

# 关闭套接字

s.recvform()

# 接收UDP数据，与recv()类似，但返回值是（data,address）。其中data是包含接收数据的字符串，address是发送数据的套接字地址。

s.sendto()

# 发送UDP数据，将数据发送到套接字，address是形式为（ipaddr，port）的元组，指定远程地址。返回值是发送的字节数。

s.getpeername()

# 返回连接套接字的远程地址。返回值通常是元组（ipaddr,port）。

s.getsockname()

# 返回套接字自己的地址。通常是一个元组(ipaddr,port)

s.setsockopt(level,optname,value)

# 设置给定套接字选项的值。

s.getsockopt(level,optname[.buflen])

# 返回套接字选项的值。

s.settimeout(timeout)

# 设置套接字操作的超时期，timeout是一个浮点数，单位是秒。值为None表示没有超时期。一般，超时期应该在刚创建套接字时设置，因为它们可能用于连接的操作（如connect()）

s.gettimeout()

# 返回当前超时期的值，单位是秒，如果没有设置超时期，则返回None。

s.fileno()

# 返回套接字的文件描述符。

s.setblocking(flag)

# 如果flag为0，则将套接字设为非阻塞模式，否则将套接字设为阻塞模式（默认值）。非阻塞模式下，如果调用recv()没有发现任何数据，或send()调用无法立即发送数据，那么将引起socket.error异常。

s.makefile()

# 创建一个与该套接字相关连的文件

简单实例

main 端

import socketserver  # 导入socketserver模块

class MyServer(socketserver.BaseRequestHandler):  # 创建一个类，继承自socketserver模块下的BaseRequestHandler类

    def handle(self):  # 要想实现并发效果必须重写父类中的handler方法，在此方法中实现服务端的逻辑代码（不用再写连接准备，包括bind()、listen()、accept()方法）

        while 1:

            conn = self.request

            addr = self.client_address

            # 上面两行代码，等于 conn,addr = socket.accept()，只不过在socketserver模块中已经替我们包装好了，还替我们包装了包括bind()、listen()、accept()方法

            while 1:

                accept_data = str(conn.recv(1024), encoding="utf8")

                print(accept_data)

                if accept_data == "byebye":

                    break

                send_data = bytes(input(">>>>>"), encoding="utf8")

                conn.sendall(send_data)

            conn.close()

if __name__ == '__main__':

    sever = socketserver.ThreadingTCPServer(("127.0.0.1", 8888),

                                            MyServer)  # 传入 端口地址 和 我们新建的继承自socketserver模块下的BaseRequestHandler类  实例化对象

    sever.serve_forever()  # 通过调用对象的serve_forever()方法来激活服务端

slave端

import socket

sk = socket.socket()

sk.connect(("127.0.0.1", 8888))  # 主动初始化与服务器端的连接

while True:

    send_data = input("输入发送内容:")

    sk.sendall(bytes(send_data, encoding="utf8"))

    if send_data == "byebye":

        break

    accept_data = str(sk.recv(1024), encoding="utf8")

    print("".join(("接收内容：", accept_data)))

sk.close()

总结

做好读写分离开关，确保在需要时才启用读写分离。

读写分离好处：降低了数据库访问负载压力。

坏处：需要很多资源；主从数据库数据的一致性问题；