python3和grpc的微服务探索实践

对于微服务的实践，一般都是基于Java和Golang的，博主最近研究了下基于Python的微服务实践，现在通过一个简单的服务来分析Python技术栈的微服务实践

技术栈：Python3 + grpc + Zookeeper

服务API：通过学科获取相应的题型

grpc：由Google公司开源的高性能RPC框架，消息协议使用Google自家开源的Protocol Buffers协议机制，传输使用HTTP2.0标准，支持双向流和连接多路复用

Protocol Buffers部分：

syntax = "proto3";

message Subject {
    string name = 1;
}

message QuestionType {
    string name = 1;
}

service SimpleRpcServer {
    // server streaming rpc
    // 客户端发送学科，服务端多次返回该学科包含的题型
    rpc GetSubjectQuestionTypes (Subject) returns (stream QuestionType) {
    }
}

这里定义grpc的接口类型为服务器流式RPC，即客户端发起一次请求，服务器可以返回多个响应信息，典型的例子有：客户端向服务端发送一个股票代码，服务端就把该股票的实时数据源源不断的返回给客户端：

通过protobuf编译器和Protocol Buffers生成代码：

python3 -m grpc_tools.protoc -I. --python_out=.. --grpc_python_out=.. simple_calculate.proto

服务端开启服务器，对外提供rpc调用流程：

客户端rpc调用流程：

Zookeeper服务注册与发现策略：

服务注册：

 def register_zk(host, port):
     """
     注册到zookeeper
     """
     zk = KazooClient(hosts='{host}:{port}'.format(
         host=settings_info["zookeeper"]["host"],
         port=settings_info["zookeeper"]["port"])
     )
     zk.start()
     zk.ensure_path('/rpc_calc')  # 创建根节点
     value = json.dumps({'host': host, 'port': port})

     # 创建服务子节点
     zk.create(
         '/rpc_calc/calculate_server',
         value.encode(),
         ephemeral=True,
         sequence=True
     )

服务治理发现：

     def _get_servers(self, event=None):
         """
         从zookeeper获取服务器地址信息列表
         """
         servers = self._zk.get_children(
             '/rpc_calc', watch=self._get_servers
         )
         print(servers)
         self._servers = []
         for server in servers:
             data = self._zk.get('/rpc_calc/' + server)[0]
             if data:
                 addr = json.loads(data.decode())
                 self._servers.append(addr)

     def get_server(self):
         """
         随机选出一个可用的服务器
         """
         return random.choice(self._servers)

服务端实现代码：

 class SimpleRpcServerServicer(calculate_grpc.SimpleRpcServerServicer):
     """
     实现被调用方法的具体代码
     """

     def __init__(self):
         self.subject_question_type_db = {
             'Chinese': ['单选', '多选', '填空', '解答', '问答', '作文'],
             'Math': ['单选', '填空', '解答'],
             'English': ['单选', '填空', '作文'],
             'Physics': ['单选', '多选', '填空', '解答'],
             'Chemistry': ['单选', '多选', '填空', '解答'],
             'Biology': ['单选', '多选', '填空', '解答'],
             'History': ['单选', '多选', '填空', '解答', '问答']
         }

     def GetSubjectQuestionTypes(self, request, context):
         """
         服务器流式RPC调用 根据subject获取question_types
         :param request:
         :param context:
         :return:
         """
         subject = request.name
         question_types = self.subject_question_type_db.get(subject)
         for question_type in question_types:
             yield calculate_pb2.QuestionType(name=question_type)

客户端实现代码：

 def invoke_get_subject_question_types(stub):
     """
     根据学科获取题型
     Server Streaming RPC 服务器流式RPC  客户端发送，服务器响应多个
     :param stub:
     :return:
     """
     subject = calculate_pb2.Subject(name='Chinese')
     question_types = stub.GetSubjectQuestionTypes(subject)
     for question_type in question_types:
         print(question_type.name)

服务测试：

开启三个服务，地址分别是 host：8003  host：8005  host：8009，客户端开启两个，client1 和 client2 ，测试结果：

已经成功注册了三个server到Zookeeper，客户端1使用的是8003端口的server，客户端2使用的是8005端口的server；grpc框架对于完整的rpc实现来说，实质上是封装了 网络传输、数据协议的打包解包，使得实现rpc更加简单，其本质仍然是遵守rpc的实现原理的

完整的代码详见我的git：simple_calculate_service