dotnet Core 调用HTTP接口，系统大量CLOSE_WAIT连接问题的分析，尚未解决。

环境：

dotnet core 1.0.1

CentOS 7.2

今天在服务器巡检的时候，发现一个服务大量抛出异常

异常信息为：

LockStatusPushError&&Message:One or more errors occurred. (An error occurred while sending the request. Too many open files)&InnerMessageAn error occurred while sending the request. Too many open files& at System.Threading.Tasks.Task.ThrowIfExceptional(Boolean includeTaskCanceledExceptions)
at System.Threading.Tasks.Task.Wait(Int32 millisecondsTimeout, CancellationToken cancellationToken)
at System.Threading.Tasks.Task.Wait()
at CommonHelper.HttpHelper.HttpRequest(String Url, String Method, String ContentType, Byte[] data, Encoding encoding)
at CommonHelper.HttpHelper.PostForm(String Url, Dictionary` para, Encoding encoding)
at CommonHelper.HttpHelper.PostForm(String Url, Dictionary` para)
at DeviceService.Program.LockStatusPushMethod()

首先推断，是程序打开文件（端口或者管道）太多导致的超过系统最大限制

使用 ulimit -n 查看最大限制 发现 系统最大限制为65535 为正常值

使用 lsof | wc -l 查看当前打开文件数 发现执行非常缓慢，执行结果显示系统当前打开文件数500w++。。。。。

继而查看dotnet程序打开文件数，发现为400w++

lsof>>/tmp/lsof.log 把当前打开文件列表保存 以供问题判断。

文件导出后，发现 dotnet 程序有大量状态为 CLOSE_WAIT 的socket连接 目的地址为程序访问的HTTP服务器的80端口

dotnet         root  216r     FIFO                ,       0t0     pipe
dotnet         root  217w     FIFO                ,       0t0     pipe
dotnet         root  218u     IPv4                   0t0        TCP txk-web:->txk-web:http (CLOSE_WAIT)
dotnet         root  219r     FIFO                ,       0t0     pipe
dotnet         root  220w     FIFO                ,       0t0     pipe
dotnet         root  221u     IPv4                   0t0        TCP txk-web:->txk-web:http (CLOSE_WAIT)
dotnet         root  222r     FIFO                ,       0t0     pipe
dotnet         root  223w     FIFO                ,       0t0     pipe
dotnet         root  224u     IPv4                   0t0        TCP txk-web:->txk-web:http (CLOSE_WAIT)
dotnet         root  225r     FIFO                ,       0t0     pipe
dotnet         root  226w     FIFO                ,       0t0     pipe
dotnet         root  227u     IPv4                   0t0        TCP txk-web:->txk-web:http (CLOSE_WAIT)
dotnet         root  228r     FIFO                ,       0t0     pipe
dotnet         root  229w     FIFO                ,       0t0     pipe
dotnet         root  230u     IPv4                   0t0        TCP txk-web:->txk-web:http (CLOSE_WAIT)
dotnet         root  231r     FIFO                ,       0t0     pipe
dotnet         root  232w     FIFO                ,       0t0     pipe
dotnet         root  233u     IPv4                   0t0        TCP txk-web:->txk-web:http (CLOSE_WAIT)

定位原因出现在HTTP访问上

继而查看程序的日志，发现需要程序访问的HTTP接口报500错误，

出现错误后程序会重试请求（逻辑上要求重试），重试间隔为100ms，太短导致短时间内有太多请求

首先解释CLOSE_WAIT

对方主动关闭连接或者网络异常导致连接中断，这时我方的状态会变成CLOSE_WAIT 此时我方要关闭连接来使得连接正确关闭。

初步判断可能有如下原因：

1.程序抛出异常后没有释放资源

2.dotnet core 底层的 bug

3.nginx代理强制关我的连接，又没有给我关闭的确认包

4.HTTP请求超时（这个基本没可能，HTTP接口在本机）

接下来首先看代码，我的HTTP访问方法代码如下：

private static byte[] HttpRequest(string Url, string Method, string ContentType, byte[] data, Encoding encoding)
{
    WebResponse response = null;
    HttpWebRequest request = null;
    byte[] result = null;
    try
    {
        request = (HttpWebRequest)WebRequest.Create(Url);
        request.Headers["UserAgent"] = @"Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)";
        request.Accept = @"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8";
        request.Method = Method;
        request.ContentType = ContentType;
        if (data != null)
        {
            var reqStreamAsync = request.GetRequestStreamAsync();
            //reqStreamAsync.Wait();
            using (Stream reqStream = reqStreamAsync.Result)
            {
                reqStream.Write(data, , data.Length);
                reqStream.Dispose();
            }
        }
        var reqAsync = request.GetResponseAsync();
        //reqAsync.Wait();
        using (response = reqAsync.Result)
        {
            using (Stream stream = response.GetResponseStream())
            {
                List<byte> byteArr = new List<byte>();
                int tmp = -;
                while ((tmp = stream.ReadByte()) >= )
                {
                    byteArr.Add((byte)tmp);
                }
                result = byteArr.ToArray();
                stream.Dispose();
            }
            response.Dispose();
        }
    }
    catch (Exception ex)
    {
        throw;
    }
    finally
    {
        if (request != null)
        {
            request.Abort();
            request = null;
        }
        if (response != null)
        {
            response.Dispose();
            response = null;
        }
    }
    return result;
}

看到代码 第一想法是 HttpWebRequest 没有套using也没有Dispose()，

但是尝试后发现，这个类根本就没有实现IDisposable接口，也没法手工释放，

百度之后得到结论，只能Abort()，添加到finally，顺便给WebResponse增加Dispost(),重新尝试 -------- 无效。

之后修改了Centos的/etc/sysctl.conf

增加对keepalive相关配置进行尝试

net.ipv4.tcp_keepalive_time=60
net.ipv4.tcp_keepalive_probes=2
net.ipv4.tcp_keepalive_intvl=2

然后 sysctl -p 重新加载配置，再次尝试 -------- 问题依旧。

之后又感觉是程序没有释放HttpWebRequest，

在HTTP访问方法的finally中加入GC.Collect()，希望强制回收 -------- 还是没用。

最终已经放弃寻找问题，直接把重试的地方增加延时，如果http请求出错，Thread.Sleep(10000);

临时解决此问题。

问题最终没有完美解决。

希望各位如果谁能知道问题原因，与我讨论，谢谢

2017.04.07 更新

今天更换HttpClient进行HTTP通讯

发现问题解决了。。。。

代码如下，欢迎指正~

private async static Task<byte[]> HttpRequest(string Url, HttpMethodEnum HttpMethod, string ContentType, byte[] data)
{
    byte[] result = null;
    try
    {
        using (HttpClient http = new HttpClient())
        {
            http.DefaultRequestHeaders.Add("User-Agent", @"Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)");
            http.DefaultRequestHeaders.Add("Accept", @"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8");

            HttpResponseMessage message = null;
            if (HttpMethod == HttpMethodEnum.POST)
            {
                using (Stream dataStream = new MemoryStream(data ?? new byte[]))
                {
                    using (HttpContent content = new StreamContent(dataStream))
                    {
                        content.Headers.Add("Content-Type", ContentType);
                        message = await http.PostAsync(Url, content);
                    }
                }
            }
            else if (HttpMethod == HttpMethodEnum.GET)
            {
                message = await http.GetAsync(Url);
            }
            if (message != null && message.StatusCode == System.Net.HttpStatusCode.OK)
            {
                using (message)
                {
                    using (Stream responseStream = await message.Content.ReadAsStreamAsync())
                    {
                        if (responseStream != null)
                        {
                            byte[] responseData = new byte[responseStream.Length];
                            responseStream.Read(responseData, , responseData.Length);
                            result = responseData;
                        }
                    }
                }
            }
        }
    }
    catch (Exception ex)
    {

        throw;
    }
    return result;
}