造成socket.error: [Errno 99] Cannot assign requested
socket.error: [Errno 99] Cannot assign requested address
网上你去搜,基本都是说bind的时候,地址已经被用了,都是胡扯。地址被用报的错误应该是:
Address already in use才对
然后我看得都是英文的,说明外国人也不是想象中的那么一丝不苟,
言归正传。socket发起connect请求的时候会随机分配一个端口给你。这个分配的端口是有范围的,记录在:
/proc/sys/net/ipv4/ip_local_port_range
这个文件里面(fedora 17).当你用多个进程发起过多的请求的时候,端口用完了就会报这个错误。比如我就开了4个进程,一下发起了40000个请求。
你可以做个实验试试,切换到root用户,敲一下这条命令:
echo 32768 32769 > /proc/sys/net/ipv4/ip_local_port_range
这下你打开人人,微博就会发现很多图片加载不出来了。因为图片加载在浏览器里面就是并行加载的,由于你没有足够的端口数,所以图片加载都失败了。别当心,这个修改是临时的(是不是临时的我也不知道,听别人说的)
修改过来用下面这条命令:
echo 32768 61000 > /proc/sys/net/ipv4/ip_local_port_range
32768 到 61000 是系统默认的随机分配端口范围(再次声明,fedora 17版本)
(3) errno = 99的原因;
至于connect系统调用为什么返回失败,就只能看系统调用的实现了。
a) connect系统调用
connect系统调用在net/socket.c中实现,Sys_connect系统调用的调用栈如下:
Sys_connect--->
sock->ops->connect // inet_stream_connect
sk->sk_prot->connect // tcp_v4_connect
tcp_v4_connect的作用主要是完成TCP连接三次握手中的第一个握手,即向服务端发送SYNC = 1和一个32位的序号的连接请求包。要发送SYNC请求包,按照TCP/IP协议,就必须有源IP地址和端口,源IP地址的选择和路由相关,需要查询路由表,在ip_route_connect中实现,源端口的选择在__inet_hash_connect中实现,而且如果找不到一个可用的端口,这个函数会返回-EADDRNOTAVAIL,因此基本上可以确定是这个函数返回错误导致connect失败;
b) __inet_hash_connect
这个函数的主要作用是选择一个可用的端口,其主要的实现步骤如下:
i. 调用inet_get_local_port_range(&low, &high);获取可用的端口链表;
- 调用read_seqbegin(&sysctl_local_ports.lock);得到顺序锁;
- 得到可用端口的low和high:
*low = sysctl_local_ports.range[0];
*high = sysctl_local_ports.range[1];
ii. 对于每一个端口,进行下面的步骤:
- 在inet_hashinfo *hinfo中查找这个端口inet_hashinfo用于保存已经使用的端口信息,每个使用的端口在这个hash表中有一个entry;
- 对端口做hash得到链表头(使用链表解决hash冲突)
- 遍历链表中的每一个entry:
a) 判断是否与这个要使用的端口相同,如果相同转到步骤b,如果不相同则遍历下一个entry
b) 找到这个端口,调用check_established(__inet_check_established)判断这个端口是否可以重用(TIME_WAIT状态下的端口并且net.ipv4.tcp_tw_recycle = 1是端口可以重用)
- 如果在链表中没有找到这个端口,表示端口没有被使用,调用inet_bind_bucket_create在hash表中插入一个entry;
iii. 如果到最后都没有找到一个可用的端口就返回EADDRNOTAVAIL;
从这个函数的实现可以看出,主要是由于可用的端口被占满了,所以找不到一个可用的端口,导致连接失败。运行netstat可以发现确实存在很多TIME_WAIT状态的socket,这些socket将可用端口占满了。
[root@test miuistorage-dev]# netstat -n | awk '/^tcp/ {++state[$NF]} END {for(key in state)
print key,"\t",state[key]}'
TIME_WAIT 26837
ESTABLISHED 30
(4) 解决办法:
要解决端口被TIME_WAIT状态的socket占满的问题,可以有以下的解决办法:
a) 修改可用端口范围
查看当前的端口范围:
root@guojun8-desktop:/linux-2.6.34# sysctl net.ipv4.ip_local_port_range
net.ipv4.ip_local_port_range = 32768 61000
修改端口范围:
root@guojun8-desktop:linux-2.6.34# sysctl net.ipv4.ip_local_port_range="32768 62000"
net.ipv4.ip_local_port_range = 32768 62000
这种办法可能不能解决根本问题,因为如果使用短连接,即使增加可用端口还是会被占满的。
b) 设置net.ipv4.tcp_tw_recycle = 1(本人采用这种解决方式)
这个参数表示系统的TIME-WAIT sockets是否可以快速回收
root@guojun8-desktop:linux-2.6.34# sysctl net.ipv4.tcp_tw_recycle=1
net.ipv4.tcp_tw_recycle = 1
c) 设置net.ipv4.tcp_tw_reuse=1
这个参数表示是否可以重用TIME_WAIT状态的端口;
root@guojun8-desktop:linux-2.6.34# [root@test thumbnail]# sysctl net.ipv4.tcp_tw_reuse=1
net.ipv4.tcp_tw_reuse = 1
(5) 更深入的探讨:sysctl做了什么
可以用strace跟踪一下sysctl的系统调用:
root@guojun8-desktop:linux-2.6.34# strace sysctl net.ipv4.tcp_tw_recycle=1
execve("/sbin/sysctl", ["sysctl", "net.ipv4.tcp_tw_recycle=1"], [/* 20 vars */]) = 0
brk(0) = 0x952f000
…..
open("/proc/sys/net/ipv4/tcp_tw_recycle", O_WRONLY|O_CREAT|O_TRUNC, 0666) = 3
fstat64(3, {st_mode=S_IFREG|0644, st_size=0, ...}) = 0
mmap2(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0xb788e000
write(3, "1\n", 2) = 2
close(3) = 0
munmap(0xb788e000, 4096) = 0
fstat64(1, {st_mode=S_IFCHR|0620, st_rdev=makedev(136, 8), ...}) = 0
mmap2(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0xb788e000
write(1, "net.ipv4.tcp_tw_recycle = 1\n", 28net.ipv4.tcp_tw_recycle = 1
) = 28
exit_group(0) = ?
可以看到这个程序打开/proc/sys/net/ipv4/tcp_tw_recycle并向文件中写入1,但是这个设置时怎样其作用的呢?在内核中对/proc/sys目录下的文件的i_fop做了特殊的处理,在proc_sys_make_inode 中设置:inode->i_fop = &proc_sys_file_operationsproc_sys_file_operations的定义如下:
static const struct file_operations proc_sys_file_operations = {
.read = proc_sys_read,
.write = proc_sys_write,
};
proc_sys_write中会修改对应的文件,并且修改内存中的内容,不同的文件有不同的proc_handler,如tcp_tw_recycle对应的处理函数是proc_dointvec,这个函数会修改下面的变量:
tcp_death_row.sysctl_tw_recycle
这个变量在内核中表示TIME_WIAT状态的socket是否可以被快速回收。
(3) errno = 99的原因;
至于connect系统调用为什么返回失败,就只能看系统调用的实现了。
a) connect系统调用
connect系统调用在net/socket.c中实现,Sys_connect系统调用的调用栈如下:
Sys_connect--->
sock->ops->connect // inet_stream_connect
sk->sk_prot->connect // tcp_v4_connect
tcp_v4_connect的作用主要是完成TCP连接三次握手中的第一个握手,即向服务端发送SYNC = 1和一个32位的序号的连接请求包。要发送SYNC请求包,按照TCP/IP协议,就必须有源IP地址和端口,源IP地址的选择和路由相关,需要查询路由表,在ip_route_connect中实现,源端口的选择在__inet_hash_connect中实现,而且如果找不到一个可用的端口,这个函数会返回-EADDRNOTAVAIL,因此基本上可以确定是这个函数返回错误导致connect失败;
b) __inet_hash_connect
这个函数的主要作用是选择一个可用的端口,其主要的实现步骤如下:
i. 调用inet_get_local_port_range(&low, &high);获取可用的端口链表;
- 调用read_seqbegin(&sysctl_local_ports.lock);得到顺序锁;
- 得到可用端口的low和high:
*low = sysctl_local_ports.range[0];
*high = sysctl_local_ports.range[1];
ii. 对于每一个端口,进行下面的步骤:
- 在inet_hashinfo *hinfo中查找这个端口inet_hashinfo用于保存已经使用的端口信息,每个使用的端口在这个hash表中有一个entry;
- 对端口做hash得到链表头(使用链表解决hash冲突)
- 遍历链表中的每一个entry:
a) 判断是否与这个要使用的端口相同,如果相同转到步骤b,如果不相同则遍历下一个entry
b) 找到这个端口,调用check_established(__inet_check_established)判断这个端口是否可以重用(TIME_WAIT状态下的端口并且net.ipv4.tcp_tw_recycle = 1是端口可以重用)
- 如果在链表中没有找到这个端口,表示端口没有被使用,调用inet_bind_bucket_create在hash表中插入一个entry;
iii. 如果到最后都没有找到一个可用的端口就返回EADDRNOTAVAIL;
从这个函数的实现可以看出,主要是由于可用的端口被占满了,所以找不到一个可用的端口,导致连接失败。运行netstat可以发现确实存在很多TIME_WAIT状态的socket,这些socket将可用端口占满了。
[root@test miuistorage-dev]# netstat -n | awk '/^tcp/ {++state[$NF]} END {for(key in state)
print key,"\t",state[key]}'
TIME_WAIT 26837
ESTABLISHED 30
(4) 解决办法:
要解决端口被TIME_WAIT状态的socket占满的问题,可以有以下的解决办法:
a) 修改可用端口范围
查看当前的端口范围:
root@guojun8-desktop:/linux-2.6.34# sysctl net.ipv4.ip_local_port_range
net.ipv4.ip_local_port_range = 32768 61000
修改端口范围:
root@guojun8-desktop:linux-2.6.34# sysctl net.ipv4.ip_local_port_range="32768 62000"
net.ipv4.ip_local_port_range = 32768 62000
这种办法可能不能解决根本问题,因为如果使用短连接,即使增加可用端口还是会被占满的。
b) 设置net.ipv4.tcp_tw_recycle = 1
这个参数表示系统的TIME-WAIT sockets是否可以快速回收
root@guojun8-desktop:linux-2.6.34# sysctl net.ipv4.tcp_tw_recycle=1
net.ipv4.tcp_tw_recycle = 1
c) 设置net.ipv4.tcp_tw_recycle = 1
这个参数表示是否可以重用TIME_WAIT状态的端口;
root@guojun8-desktop:linux-2.6.34# [root@test thumbnail]# sysctl net.ipv4.tcp_tw_reuse=1
net.ipv4.tcp_tw_reuse = 1
(5) 更深入的探讨:sysctl做了什么
可以用strace跟踪一下sysctl的系统调用:
root@guojun8-desktop:linux-2.6.34# strace sysctl net.ipv4.tcp_tw_recycle=1
execve("/sbin/sysctl", ["sysctl", "net.ipv4.tcp_tw_recycle=1"], [/* 20 vars */]) = 0
brk(0) = 0x952f000
…..
open("/proc/sys/net/ipv4/tcp_tw_recycle", O_WRONLY|O_CREAT|O_TRUNC, 0666) = 3
fstat64(3, {st_mode=S_IFREG|0644, st_size=0, ...}) = 0
mmap2(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0xb788e000
write(3, "1\n", 2) = 2
close(3) = 0
munmap(0xb788e000, 4096) = 0
fstat64(1, {st_mode=S_IFCHR|0620, st_rdev=makedev(136, 8), ...}) = 0
mmap2(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0xb788e000
write(1, "net.ipv4.tcp_tw_recycle = 1\n", 28net.ipv4.tcp_tw_recycle = 1
) = 28
exit_group(0) = ?
可以看到这个程序打开/proc/sys/net/ipv4/tcp_tw_recycle并向文件中写入1,但是这个设置时怎样其作用的呢?在内核中对/proc/sys目录下的文件的i_fop做了特殊的处理,在proc_sys_make_inode 中设置:inode->i_fop = &proc_sys_file_operationsproc_sys_file_operations的定义如下:
static const struct file_operations proc_sys_file_operations = {
.read = proc_sys_read,
.write = proc_sys_write,
};
proc_sys_write中会修改对应的文件,并且修改内存中的内容,不同的文件有不同的proc_handler,如tcp_tw_recycle对应的处理函数是proc_dointvec,这个函数会修改下面的变量:
tcp_death_row.sysctl_tw_recycle
这个变量在内核中表示TIME_WIAT状态的socket是否可以被快速回收。
造成socket.error: [Errno 99] Cannot assign requested的更多相关文章
- socket.error: [Errno 99] Cannot assign requested address
方法一:python 命令行下运行 vi /etc/hosts 将127.0.1.1 那一行的名字改成你的(用 vi /etc/hostname 获取) 127.0.0.1 localhost 12 ...
- python socket编程腾讯云下报错[Errno 99] Cannot assign requested address的解决方式
先写服务端server.py: import socket import time HOST = '172.17.xx.xx' #服务器的私网IP #HOST = 'localhost' PORT = ...
- 解决commBind: Cannot bind socket FD 18 to [::1]: (99) Cannot assign requested address squid
最近玩squid主要是为了爬虫代理,但是使用docker搭建squid的时候发现,docker一直默认使用的 ipv6,但是squid使用ipv4,导致无法绑定,出现commBind: Cannot ...
- python web开发遇到socket.error[errno 10013]
socket.error[errno 10013],端口被占用 重新换一个端口,或者把占用该端口的程序关闭就可以了
- python socket.error: [Errno 10054] 解决方法
我用的是python2.7 我搜网上10054错误解决方法的时候发现,大部分文章都是以python3为基础的,对于python2不适用. python socket.error: [Errno 1 ...
- python socket.error: [Errno 24] Too many open files
以openwrt AR9331开发板为例,socket连接到1019个就报错 “python socket.error: [Errno 24] Too many open files” 1.查看开发板 ...
- Flask: socket.error: [Errno 48] Address already in use 问题
参考: Mac OSX 解决socket.error: [Errno 48] Address already in use问题 Mac OS X中解决socket.error: [Errno 48] ...
- supervisor error: <class 'socket.error'>, [Errno 110]
supervisorctr status报错 error: <class 'socket.error'>, [Errno 110] Connection timed out: file: ...
- connect() to 192.168.30.71:8082 failed (99: Cannot assign requested address) while connecting to upstream, client: 114.80.182.136, server: localhost, request: "GET /home/senior HTTP/1.1", upstream: "
connect() to 192.168.30.71:8082 failed (99: Cannot assign requested address) while connecting to ups ...
随机推荐
- java项目文件的路径问题
title: 项目下的路径问题 tags: grammar_cjkRuby: true --- 在javaee的项目中,存取文件,解析xml和properties文件,以及项目中的文件,都需要获取路径 ...
- [cf2015ICLFinalsDiv1J]Ceizenpok’s formula
题意:$C_n^m\% k$ 解题关键:扩展lucas+中国剩余定理裸题 #include<algorithm> #include<iostream> #include< ...
- GTK学习笔记之Linux下Gtk环境搭建
下面介绍下Ubuntu 环境下具体的安装过程: 1.配置安装gcc/g++/gdb/make 等基本编程工具(必须装好) 刚装好的Ubuntu系统中已经有GCC了,但是这个GCC几乎什么文件都不能编译 ...
- js 读本地文件
http://www.jb51.net/article/21191.htm <!doctype html> <html lang="en"> <hea ...
- 苦逼三流小公司程序员这半年找工作经历(3)——选择offer
本文按照企业规模.性质.规模,分成三类,点评一下遇到的这些公司.也算是为半年找工作经历的一个总结. 1,三流小公司 公司规模类似于笔者跳槽前所在企业,性质有外商独资.合资,当然大多数都是民营企业,规模 ...
- hdu2612(dijkstra)
题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=2612 题意:给出一个n*m的矩阵,' . ' 表示可以走的路, ' # '表示不能走的路 ,’ @'表 ...
- 洛谷P3847 [TJOI2007]调整队形
P3847 [TJOI2007]调整队形 题目背景 学校艺术节上,规定合唱队要参加比赛,各个队员的衣服颜色不能很混乱:合唱队员应排成一横排,且衣服颜色必须是左右对称的. 例如:“红蓝绿蓝红”或“红蓝绿 ...
- BitMap的原理以及运用
位图(Bitmap),即位(Bit)的集合,是一种数据结构,可用于记录大量的0-1状态,在很多地方都会用到,比如Linux内核(如inode,磁盘块).Bloom Filter算法等,其优势是可以在一 ...
- JVM 内存分析
简述JVM垃圾回收机制 垃圾回收机制时Java提供的自动释放内存空间的机制. 垃圾回收机制时JVM自导的一个线程,用于回收没有被引用的对象. JVM有一个运行时的数据区来管理内存.其主要包括五大部分: ...
- Maven项目编译版本的问题和Spring中没有导入核心包
idea中maven项目的编译: 方案1:maven的settings.xml中指定全局默认编译版本 <profile> <id>jdk-1.8</id> < ...