aliyun---经过LB到后端k8s压测超时的问题

环境：阿里云

压测主机：阿里云ECS（非LB后的主机）

压测目标：阿里云k8s自己的某个服务

k8s配置在kube-system 按照之前的ingress-nginx 配置了一个内网的ingress-nginx，对监听的443和80进行代理

LB为内网IP的lb，共享性的，然后在service的kube-system的ingress里添加了lb的实例

压测经过LB的时候，总是出现超时3%左右的超时连接

最后优化nginx-controler还是不行

然后试着把 ingress-nginx的Cluster类型改成了Local ---- externalTrafficPolicy: Local，结果好了。Cluster和Local为什么会影响压测结果呢

补充：

当时还优化了一部分参数，主要是nginx-ingress内参数

具体优化的参数：
1：我按照阿里云那边的建议把ingress副本调成了3个；
2：优化了部分参数，参数文章https://cloud.tencent.com/developer/article/1537695
3：对比fat环境把nginx-ingress-intranet 的类型改成了Local
具体优化的参数：
net.ipv4.tcp_syncookies = 0
fs.file-max=655350
$ cat /etc/security/limits.conf
...
*  hard  nofile  655350
*  soft  nofile  655350
*  hard  nproc  655350
*  soft  nproc  655350

$ kubectl -n kube-system edit configmap nginx-configuration
...
apiVersion: v1
data:
  keep-alive: "75"
  keep-alive-requests: "100"
  upstream-keepalive-connections: "10000"
  upstream-keepalive-requests: "100"
  upstream-keepalive-timeout: "60"

　　

dev-azero环境进行压测api和azvs出现超时，错误率较多
解决：
1、绕开LB判断超时是否和LB有关，直接压测后端node：port，正常
2、api经LB到kube-system名称空间ingress-nginx-controller转发，初步判断是这里问题
3：搜索ingress调优，修改如下：

$ kubectl -n kube-system edit configmap nginx-configuration
...
apiVersion: v1
data:
  keep-alive: "75"
  keep-alive-requests: "100"
  upstream-keepalive-connections: "10000"
  upstream-keepalive-requests: "100"
  upstream-keepalive-timeout: "60"

以上内容具体解释
keep-alive-requests指令用于设置一个keep-alive连接上可以服务的请求的最大数量，当最大请求数量达到时，连接被关闭
Keep-Alive功能使客户端到服 务器端的连接持续有效，当出现对服务器的后继请求时，Keep-Alive功能避免了建立或者重新建立连接。默认75为timeout时间，对于一些请求比较大的内部服务器通讯的场景，适当加大为120s或者300s。
upstream-keepalive-connections 到upstream服务器即到server的空闲keepalive连接的最大数量 ，如何调：根据到服务器接受请求的响应时间和qps去设置，如果相应时间为100ms，性能要达到10000qps，值需设置为1000
upstream-keepalive-requests: 设置通过一个keepalive连接可以处理的最大请求数。发出最大数量的请求后，将关闭连接。
upstream-keepalive-timeout ：设置一个超时，在此超时期间，与upstream服务器的空闲keepalive连接将保持打开状态
从官网总结的这几个参数 http://nginx.org/en/docs/http/ngx_http_upstream_module.html#keepalive，前三个如何调优给出了结论，后两个没找到优化的依据
4：以上优化完成后错误率仍然存在，稍有降低，按照prod环境修改ingress类型为Local