记一次pushgateway因文件句柄数太多未回收的问题

1. 问题描述：

Flink上报metrics到pushGateway，pushGwateway因打开在多文件而拒绝Flink TaskManager上报数据的连接。查看pushGateway的日志如下：

2022/09/27 03:09:33 http: Accept error: accept tcp 0.0.0.0:9091: accept4: too many open files; retrying in 160ms
2022/09/27 03:09:33 http: Accept error: accept tcp 0.0.0.0:9091: accept4: too many open files; retrying in 320ms
2022/09/27 03:09:33 http: Accept error: accept tcp 0.0.0.0:9091: accept4: too many open files; retrying in 640ms

2. 问题定位过程

2.1首先查看系统的设置的最大文件句柄数：

ulimit -a

或者 cat /etc/security/limits.conf

接着查看应用可打开的最大文件数：

可见，应用可以打开的文件句柄已经相当大了。问题应该不在于此。

2.2 lsof查看应用打开的文件句柄：

lsof -p pid |wc -l

看到应用打开的文件数在持续增加，没有减少。

2.3 查看对应的进程的fd/目录下的文件情况 ，

ls /proc/pid/fd/ |wc -l

ll|head -20

找一个 inode, 在linux的TCP连接信息文件中查看有没有对应记录，socket:[xxxxxx]表示文件inode号， 100011， 100010等表示文件句柄。

cat /proc/net/tcp |grep 94859722

发现是空的。可以猜测是否pushGateway对应的TCP连接已经释放，但对应的文件句柄未清理。

只能做这种推测，

验证：可以 ss 查看具体的连接，在/proc/net/tcp中查看对应的inode, 等连接释放后，再去/proc/pid/fd/下面看对应的文件句柄是否被回收。

例如： ss - plta |grep pid

ll /proc/pid/fd/ |grep fd

以fd为141154为例：

过段时间再用ss -plta 查看，以及查看对应的tcp连接和fd下面的文件句柄

tcp信息已经不存在了，但文件句柄还残存着。

/proc/pid/fd文件下存放的是什么:

Linux内核提供了一种通过proc文件系统，在运行时访问内核内部数据结构、改变内核设置的机制。proc文件系统是一个伪文件系统，它只存在内存当中，而不占用外存空间。它以文件系统的方式为访问系统内核数据的操作提供接口。

attr
autogroup
auxv ：包含传递给进程的ELF解释器信息，格式是每一项都是一个unsigned long长度的ID加上一个unsigned long长度的值。
cgroup：文件，进程所属的控制组，格式为冒号分隔的三个字段，分别是结构ID、子系统、控制组、需要配置CONFIG_CGROUPS。
clear_refs：只写，只用于进程的拥有者，清除用于估算内存使用量的PG_Reference和ACCESSED/YOUNG，有1、2、3、4四种策略，1表示清除相关的所有页，2表示清除相关的匿名页，3表示清除相关的映射文件的页，4表示清除相关的soft-dirty的页，需配置CONFIG_PROC_PAGE_MONITOR.
cmdline：是一个只读文件，包含进程的完整命令行信息。如果该进程已经被交换出内存或者这个进程是zombie进程，则这个文件没有任何内容。该文件以空字符null而不是换行符作为结束标志。
comm：包含进程的命令名。
coredump_filter：coredump过滤器，不同的二进制位表示过滤不同的信息。
cpuset：控制CPU和内存的节点。
cwd：是进程当前工作目录的符号链接。
environ：显示进程的环境变量。
exe：为实际运行程序的符号链接。
fd：是一个目录，包含进程打开文件的情况。
fdinfo：包含当前的fd的信息，不同类型的fd信息不同。
gid_map：从用户命名空间映射的组ID的信息。
io：IO信息。
limits：资源软、硬限制。
loginuid
map_files：包括一些内存映射文件，文件格式为BeginAddress-EndAddress,符号链接到映射的文件，需要配置CONFIG_CHECKPOINT_RESTORE。
maps：显示进程的内存区域映射信息。其中[stack:]是线程的堆栈信息，对应于/proc/[pid]/task/[tid]/路径 
mem：包含了进程在内存中的内容
mountinfo：挂载信息。格式为36 35 98:0 /mnt1 /mnt2 rw,noatime master:1 - ext3 /dev/root rw,errors=continue，以空格作为分隔符，从左到右各字段的意思分别是唯一挂载ID、父挂载ID、文件系统的设备主从号码、文件系统中挂载的根节点、相对于进程根节点的挂载点、挂载权限等挂载配置、可选配置、短横线表示前面可选配置的结束、文件系统类型、文件系统特有的挂载源或者为none、额外配置。
mounts：挂载在当前进程的文件系统列表。
mountstats：挂载信息。

net：从进程角度统计的数据。
/proc/net：有关网络和套接字的状态信息

/proc/sys/net:网络和套接字的设置
ns：保存了每个名字空间的入口。
numa_maps：numa即Non Uniform Memory Access
oom_adj：调整OOM分数，OOM即Out Of Memory，发生OOM时OOM Killer根据OOM分数杀掉分数高的进程，默认值为0，会继承自父进程的设置。
oom_score：OOM分数。
oom_score_adj：，OOM分值介于-1000到1000之间。
pagemap：当前进程的虚拟内存页映射信息，需要配置CONFIG_PROC_PAGE_MONITOR
patch_state
personality
projid_map
root：是进程根目录的符号链接。
sched
schedstat
sessionid
setgroups
smaps：内存映射信息，类似于pmap命令，需要配置CONFIG_PROC_PAGE_MONITOR，下面“proc-pid-smaps”详细介绍
stack：当前进程的内核调用栈信息，只有内核编译时打开了CONFIG_STACKTRACE编译选项，才会生成这个文件。
stat：进程状态。
statm：显示进程所占用内存大小的统计信息。
status：包含进程的状态信息。其很多内容与stat,statm相同，但是却是以一种更清晰地方式展现出来。
syscall：显示当前进程正在执行的系统调用。
task：针对进程指令的每个线程，内核提供了以/proc/PID/task/TID命名的子目录，其中TID是该线程的线程ID。每个/proc/PID/task/TID子目录中都有一套类似于/proc/PID目录内容的文件和目录。因为线程共享了多个属性，所以这些文件中的许多信息对进程中各个线程而言都是相同的。
timers：POSIT定时器列表，包括定时器ID,信号等信息。
uid_map：用户ID映射信息。
wchan：显示当进程sleep时，kernel当前运行的函数

lantency ：显示哪些代码造成的延时比较大。如果要使用这个特性需要执行 echo 1> /proc/sys/kernel/lantencytop