Linux高并发优化配置

来自linux中国网wiki
跳到导航 跳到搜索

kernel optimization

关于内核参数的优化解说


net.ipv4.tcp_max_tw_buckets = 6000
#timewait 的数量,默认是180000。

net.ipv4.ip_local_port_range = 1024 65000
#允许系统打开的端口范围。

net.ipv4.tcp_tw_recycle = 1
#启用timewait 快速回收。

net.ipv4.tcp_tw_reuse = 1
#开启重用。允许将TIME-WAIT sockets 重新用于新的TCP 连接。

net.ipv4.tcp_syncookies = 1  
#开启SYN Cookies,当出现SYN 等待队列溢出时,启用cookies 来处理。

net.core.somaxconn = 262144 
#web 应用中listen 函数的backlog 默认会给我们内核参数的net.core.somaxconn 限制到128,而nginx 定义的NGX_LISTEN_BACKLOG 默认为511,所以有必要调整这个值。

net.core.netdev_max_backlog = 262144
#每个网络接口接收数据包的速率比内核处理这些包的速率快时,允许送到队列的数据包的最大数目。

net.ipv4.tcp_max_orphans = 262144
#系统中最多有多少个TCP 套接字不被关联到任何一个用户文件句柄上。如果超过这个数字,孤儿连接将即刻被复位并打印出警告信息。这个限制仅仅是为了防止简单的DoS 攻击,不能过分依靠它或者人为地减小这个值,更应该增加这个值(如果增加了内存之后)。

net.ipv4.tcp_max_syn_backlog = 262144 
#记录的那些尚未收到客户端确认信息的连接请求的最大值。对于有128M 内存的系统而言,缺省值是1024,小内存的系统则是128。

net.ipv4.tcp_synack_retries = 1
#TCP三次握手的syn/ack阶段,重试次数,缺省5,设为2-3
#为了打开对端的连接,内核需要发送一个SYN 并附带一个回应前面一个SYN 的ACK。也就是所谓三次握手中的第二次握手。这个设置决定了内核放弃连接之前发送SYN+ACK 包的数量。

net.ipv4.tcp_syn_retries = 1 #
#在内核放弃建立连接之前发送SYN 包的数量。
#默认值是5
对于一个新建连接,内核要发送多少个 SYN 连接请求才决定放弃。不应该大于255,默认值是5,对应于180秒左右时间。(对于大负载而物理通信良好的网络而言,这个值偏高,可修改为2.这个值仅仅是针对对外的连接,对进来的连接,是由tcp_retries1决定的)

net.ipv4.tcp_fin_timeout = 1
#如果套接字由本端要求关闭,这个参数决定了它保持在FIN-WAIT-2 状态的时间。对端可以出错并永远不关闭连接,甚至意外当机。缺省值是60 秒。2.2 内核的通常值是180 秒,3你可以按这个设置,但要记住的是,即使你的机器是一个轻载的WEB 服务器,也有因为大量的死套接字而内存溢出的风险,FIN- WAIT-2 的危险性比FIN-WAIT-1 要小,因为它最多只能吃掉1.5K 内存,但是它们的生存期长些。
tcp_fin_timeout :INTEGER
默认值是 60
对于本端断开的socket连接,TCP保持在FIN-WAIT-2状态的时间。对方可能会断开连接或一直不结束连接或不可预料的进程死亡。默认值为 60 秒。过去在2.2版本的内核中是 180 秒。您可以设置该值﹐但需要注意﹐如果您的机器为负载很重的web服务器﹐您可能要冒内存被大量无效数据报填满的风险﹐FIN-WAIT-2 sockets 的危险性低于 FIN-WAIT-1 ﹐因为它们最多只吃 1.5K 的内存﹐但是它们存在时间更长。另外参考 tcp_max_orphans。(事实上做NAT的时候,降低该值也是好处显著的,我本人的网络环境中降低该值为30)

net.ipv4.tcp_keepalive_time = 30
#当keepalive 起用的时候,TCP 发送keepalive 消息的频度。缺省是2 小时。

net.ipv4.tcp_timestamps = 0
#时间戳可以避免序列号的卷绕。一个1Gbps 的链路肯定会遇到以前用过的序列号。时间戳能够让内核接受这种“异常”的数据包。这里需要将其关掉。


net.ipv4.tcp_window_scaling = 0
默认值是  1建议为1 
启用RFC 1323定义的window scaling,要支持超过64KB的TCP窗口,必须启用该值(1表示启用),TCP窗口最大至1GB,TCP连接双方都启用时才生效



net.ipv4.tcp_sack = 0
#关闭tcp_sack 默认是  1 建议 1
#启用有选择的应答(Selective Acknowledgment),
#这可以通过有选择地应答乱序接收到的报文来提高性能(这样可以让发送者只发送丢失的报文段);
#(对于广域网通信来说)这个选项应该启用,但是这会增加对 CPU 的占用。


# echo 'net.ipv4.tcp_no_metrics_save = 1' >> /etc/sysctl.conf
当连接关闭的时候,TCP 默认缓存了很多连接指标在 route cache 中,以至于在不久的将来,连接建立的时候,可以用这些值来设置初始化条件。通常,这提升了整体的性能,但是,有时候会引起性能下降, 如果设置的话,TCP 在关闭的时候不缓存这些指标。


net.ipv4.tcp_rmem 用来配置读缓冲的大小,三个值,第一个是这个读缓冲的最小值,第三个是最大值,中间的是默认值。我们可以在程序中修改读缓冲的大小,但是不能超过最小与最大。为了使每个socket所使用的内存数最小,我这里设置默认值为4096。
net.ipv4.tcp_wmem 用来配置写缓冲的大小。
读缓冲与写缓冲在大小,直接影响到socket在内核中内存的占用。
而net.ipv4.tcp_mem则是配置tcp的内存大小,其单位是页,而不是字节。当超过第二个值时,TCP进入pressure模式,此时TCP尝试稳定其内存的使用,当小于第一个值时,就退出pressure模式。当内存占用超过第三个值时,TCP就拒绝分配socket了,查看dmesg,会打出很多的日志“TCP: too many of orphaned sockets”。
另外net.ipv4.tcp_max_orphans这个值也要设置一下,这个值表示系统所能处理不属于任何进程的socket数量,当我们需要快速建立大量连接时,就需要关注下这个值了。当不属于任何进程的socket的数量大于这个值时,dmesg就会看到”too many of orphaned sockets”


net.ipv4.conf.all.arp_notify
arp通知链操作
0:不做任何操作
1:当设备或硬件地址改变时自动产生一个arp请求


vm.overcommit_memory = 1 
#4 redis 
可选值:0、1、2。  0, 表示内核将检查是否有足够的可用内存供应用进程使用;如果有足够的可用内存,内存申请允许;否则,内存申请失败,并把错误返回给应用进程。 1, 表示内核允许分配所有的物理内存,而不管当前的内存状态如何。 2, 表示内核允许分配超过所有物理内存和交换空间总和的内存

Note



net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_fin_timeout = 5


tcp_timestamps默认是开启,如果再把tcp_tw_recycle设置为1,则60s内同一源ip主机的socket connect请求中的timestamp必须是递增的。也就是说服务器打开了 tcp_tw_reccycle了,就会检查时间戳,如果对方发来的包的时间戳是乱跳的或者说时间戳是滞后的,这样服务器肯定不会回复,所以服务器就把带了“倒退”的时间戳的包当作是“recycle的tw连接的重传数据,不是新的请求”,于是丢掉不回包,就出现了开始说的syn不响应。

解决方法:在/etc/sysctl.conf文件中再添加如下一行:

net.ipv4.tcp_timestamps=0

我以前 好像是把快速回收关闭了  on dkm  

net.ipv4.tcp_timestamps引发的tcp syn无响应案

[1]

nice TCP/IP 高并发 kernel调优


我的kernel高并发配置 on lx


#me add
net.ipv4.tcp_max_tw_buckets = 6000
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_keepalive_time = 30


net.ipv4.tcp_window_scaling = 1 # or 1 u is 0

net.ipv4.tcp_sack = 1

net.core.rmem_max=16777216
net.core.wmem_max=16777216

net.ipv4.tcp_no_metrics_save=1
net.ipv4.conf.all.arp_notify = 1

net.ipv4.tcp_rmem=4096 87380 16777216

net.ipv4.tcp_wmem=4096 65536 16777216

net.ipv4.ip_local_port_range = 1024 65535 

net.ipv4.tcp_fin_timeout = 10 # or 30

net.ipv4.tcp_tw_recycle = 1 

net.ipv4.tcp_timestamps = 0 

net.core.netdev_max_backlog = 30000 # or 262144

net.core.somaxconn = 262144 

net.ipv4.tcp_syncookies = 1 # I is 1  ,u is 0

net.ipv4.tcp_max_orphans = 262144 

net.ipv4.tcp_max_syn_backlog = 262144 

net.ipv4.tcp_synack_retries = 2 # or 1 

net.ipv4.tcp_syn_retries = 2 # or 1 

#4 redis
vm.overcommit_memory = 1


ulimit



vi /etc/security/limits.conf
# add (*指代系统用户名),修改Linux系统对用户的关于打开文件数的软限制和硬限制:
* soft nofile 65535
* hard nofile 65535


修改/etc/pam.d/login文件,在文件中添加如下行:
session required /lib/security/pam_limits.so

如果是64bit系统的话,应该为 :
session required /lib64/security/pam_limits.so

/sbin/sysctl -p /etc/sysctl.conf

/sbin/sysctl -w net.ipv4.route.flush=1

执行如下命令(linux系统优化完网络必须调高系统允许打开的文件数才能支持大的并发,默认1024是远远不够的):

echo  'ulimit -HSn 65536' >> /etc/rc.local

echo 'ulimit -HSn 65536' >>/root/.bash_profile

/etc/security/limits.d/20-nproc.conf      65535

echo 65535 > /proc/sys/kernel/pid_max

ulimit -HSn 65536
重启机器 

查看  
ulimit -n
65536



see also

有关linux下redis overcommit_memory的问题


LINUX系统全部参数 sysctl -a + 网络参数设置

kernel 优化 高并发

优化Linux内核参数/etc/sysctl.conf sysctl 《高性能Linux服务器构建实战:运维监控、性能调优与集群应用》

CentOS7 高并发优化

关于高负载服务器Kernel的TCP参数优化


TCP/IP及内核参数优化调优

高负载linux调优