python与consul 实现gRPC服务注册-发现

背景

通过对gRPC的介绍我们知道，当正常启动服务后，我们只需要知道ip，port就可以进行gRPC的连接。可以想到，这种方式并不适合用于线上环境，因为这样直连的话就失去了扩展性，当需要多机部署的时候，就无法在线上环境直接使用，而且当线上项目连接的那台服务器宕了的话，整个项目也会出错，这并不是我们想要的结果。

于是,我们需要一个服务注册与发现的机制。也就是说当我们的rpc服务启动的时候注册到另一个服务器，然后客户端连接的时候去查找对应的服务，得到相应的ip，port，然后就可以顺利进行连接了。这种方式也就是服务注册与发现，目前有zoomkeper, consul, 因为自己对zookeeper不熟悉，所以这里选用consul。整个流程如图所示

consul 的安装

通过docker

运行如下命令:

docker run -d -p 8500:8500 consul consul agent -data-dir=/consul/data -config-dir=/consul/config -dev -client=0.0.0.0 -bind=0.0.0.0
通过其它方式

安装方式参考https://www.consul.io/intro/getting-started/install.html

安装完后运行：

consul agent --data-dir . -server -ui -bootstrap -bind=127.0.0.1

无论哪种方式，运行完之后在浏览器中打开 http://127.0.0.1:8500/ui，可以看到如下内容

服务注册

已之前介绍的gRPC代码为基础，我们加入服务注册部分（注：本人环境为python3，需要python2的，自己进行修改）

 import time

 import grpc

 import consul

 import json

 from concurrent import futures

 import test_pb2_grpc

 import test_pb2

 def test(request, context):

     # 实际调用到的函数

     json_response = test_pb2.JSONResponse()

     json_response.rst_string = json.dumps({"ret":"Hi gRPC"})# 构造出proto文件中定义的返回值格式

     return json_response

 class OrderHandler(test_pb2_grpc.OrderHandlerServicer):

     def create_order(self, request, context):

         return test(request, context)

 def register(server_name, ip, port):

     c = consul.Consul() # 连接consul 服务器，默认是127.0.0.1，可用host参数指定host

     print(f"开始注册服务{server_name}")

     check = consul.Check.tcp(ip, port, "10s") # 健康检查的ip，端口，检查时间

     c.agent.service.register(server_name, f"{server_name}-{ip}-{port}",

             address=ip, port=port, check=check) # 注册服务部分

     print(f"注册服务{server_name}成功")

 def unregister(server_name, ip, port):

     c = consul.Consul()

     print(f"开始退出服务{server_name}")

     c.agent.service.deregister(f'{server_name}-{ip}-{port}')

 def serve():

     server = grpc.server(futures.ThreadPoolExecutor(max_workers=10))

     test_pb2_grpc.add_OrderHandlerServicer_to_server(OrderHandler(), server)

     server.add_insecure_port('[::]:{}'.format(12006))

     register("order_server", "0.0.0.0", 12006)

     server.start()

     try:

         while True:

             time.sleep(186400)

     except KeyboardInterrupt:

         unregister("order_server", "0.0.0.0", 12006)

         server.stop(0)

 serve()

要运行此服务需要先安装 python-consul pip install python-consul

运行此服务，在浏览器中会出现我们刚刚注册的服务，和可用节点，健康信息，如图

当使用ctrl+c 退出服务时，会取消注册。也就是会从consul列表里消失。

注意：当健康检测失败时，并不意味着服务有问题，仅表示consul服务器和对应的rpc服务的端口连不上而已

rpc客户端连接

客户端需要向consul服务器请求，得到可用的rpc服务的ip，端口，在进行连接，我们还是基于之前的客户端代码进行修改，完整代码如下：

 import grpc

 from dns import resolver

 from dns.exception import DNSException

 import test_pb2_grpc

 import test_pb2

 # 连接consul服务，作为dns服务器

 consul_resolver = resolver.Resolver()

 consul_resolver.port = 8600

 consul_resolver.nameservers=["127.0.0.1"]

 def get_ip_port(server_name):

    '''查询出可用的一个ip，和端口'''

     try:

         dnsanswer = consul_resolver.query(f'{server_name}.service.consul', "A")

         dnsanswer_srv = consul_resolver.query(f"{server_name}.service.consul", "SRV")

     except DNSException:

         return None, None

     return dnsanswer[0].address, dnsanswer_srv[0].port

 ip, port = get_ip_port("order_server")

 channel = grpc.insecure_channel(f"{ip}:{port}")

 stub = test_pb2_grpc.OrderHandlerStub(channel)

 # 要完成请求需要先构造出proto文件中定义的请求格式

 ret = stub.create_order(test_pb2.OrderRequest(phone="12990", price="50"))

 print(ret.rst_string)

总结

至此，我们已经搭建好了一套简单服务注册-发现系统。当然consul的功能远不止这一点，它还支持分布式，多节点部署。需要了解更多，可以去官网做进一步了解。

踩过的坑

在示例中，我们只捕获了ctrl+c 信号，在实际中，服务会因为一些奇怪的问题宕掉，而此时，该节点信息会一直在consul里面，除非手动注销，所以需要捕获所有异常信号。
单节点的时候，consul服务挂掉会影响所有相关的项目，所以最好还是有从节点。