记一次k8s服务504 timeout

线上服务做集群扩容，调整了节点机器配置，在升级完毕之后，发现某些时候请求较慢，或者直接504 timeout 超时，必现情况，点击几次都是，且并没有代表性。

1、检查istio 日志是否有504 的日志，并查看在哪台node 机器上，看下那台节点机器是否有问题。

2、kubectl get nodes 查看机器节点是否都正常工作。

3、外部代理了一层nginx,查看nginx 错误日志。

        关键点，查看nginx 的进程是否都正常，我们的问题就是nginx 修改了配置，执行了reload 成功，但是进程一直处于is_shutting_down 并未成功杀死，所以某些请求还是打在了旧的节点机器上。

4、所有的都不行，就用重启大法，重启ngnix 重启机器、重新部署，都重做一遍。

 

学习分享：

https://mp.weixin.qq.com/s/nEBMG8zdW1O-3XvygMSRVQ

https://blog.csdn.net/lijiaocn/article/details/95673069