Linux高并发优化配置
docker>Evan2019年9月16日 (一) 02:19的版本 （→ulimit）
kernel optimization
关于内核参数的优化解说
net.ipv4.tcp_max_tw_buckets = 6000 #timewait 的数量，默认是180000。 net.ipv4.ip_local_port_range = 1024 65000 #允许系统打开的端口范围。 net.ipv4.tcp_tw_recycle = 1 #启用timewait 快速回收。 net.ipv4.tcp_tw_reuse = 1 #开启重用。允许将TIME-WAIT sockets 重新用于新的TCP 连接。 net.ipv4.tcp_syncookies = 1 #开启SYN Cookies，当出现SYN 等待队列溢出时，启用cookies 来处理。 net.core.somaxconn = 262144 #web 应用中listen 函数的backlog 默认会给我们内核参数的net.core.somaxconn 限制到128，而nginx 定义的NGX_LISTEN_BACKLOG 默认为511，所以有必要调整这个值。 net.core.netdev_max_backlog = 262144 #每个网络接口接收数据包的速率比内核处理这些包的速率快时，允许送到队列的数据包的最大数目。 net.ipv4.tcp_max_orphans = 262144 #系统中最多有多少个TCP 套接字不被关联到任何一个用户文件句柄上。如果超过这个数字，孤儿连接将即刻被复位并打印出警告信息。这个限制仅仅是为了防止简单的DoS 攻击，不能过分依靠它或者人为地减小这个值，更应该增加这个值(如果增加了内存之后)。 net.ipv4.tcp_max_syn_backlog = 262144 #记录的那些尚未收到客户端确认信息的连接请求的最大值。对于有128M 内存的系统而言，缺省值是1024，小内存的系统则是128。 net.ipv4.tcp_synack_retries = 1 #TCP三次握手的syn/ack阶段，重试次数，缺省5，设为2-3 #为了打开对端的连接，内核需要发送一个SYN 并附带一个回应前面一个SYN 的ACK。也就是所谓三次握手中的第二次握手。这个设置决定了内核放弃连接之前发送SYN+ACK 包的数量。 net.ipv4.tcp_syn_retries = 1 # #在内核放弃建立连接之前发送SYN 包的数量。 #默认值是5 对于一个新建连接，内核要发送多少个 SYN 连接请求才决定放弃。不应该大于255，默认值是5，对应于180秒左右时间。(对于大负载而物理通信良好的网络而言,这个值偏高,可修改为2.这个值仅仅是针对对外的连接,对进来的连接,是由tcp_retries1决定的) net.ipv4.tcp_fin_timeout = 1 #如果套接字由本端要求关闭，这个参数决定了它保持在FIN-WAIT-2 状态的时间。对端可以出错并永远不关闭连接，甚至意外当机。缺省值是60 秒。2.2 内核的通常值是180 秒，3你可以按这个设置，但要记住的是，即使你的机器是一个轻载的WEB 服务器，也有因为大量的死套接字而内存溢出的风险，FIN- WAIT-2 的危险性比FIN-WAIT-1 要小，因为它最多只能吃掉1.5K 内存，但是它们的生存期长些。 tcp_fin_timeout ：INTEGER 默认值是 60 对于本端断开的socket连接，TCP保持在FIN-WAIT-2状态的时间。对方可能会断开连接或一直不结束连接或不可预料的进程死亡。默认值为 60 秒。过去在2.2版本的内核中是 180 秒。您可以设置该值﹐但需要注意﹐如果您的机器为负载很重的web服务器﹐您可能要冒内存被大量无效数据报填满的风险﹐FIN-WAIT-2 sockets 的危险性低于 FIN-WAIT-1 ﹐因为它们最多只吃 1.5K 的内存﹐但是它们存在时间更长。另外参考 tcp_max_orphans。(事实上做NAT的时候,降低该值也是好处显著的,我本人的网络环境中降低该值为30) net.ipv4.tcp_keepalive_time = 30 #当keepalive 起用的时候，TCP 发送keepalive 消息的频度。缺省是2 小时。 net.ipv4.tcp_timestamps = 0 #时间戳可以避免序列号的卷绕。一个1Gbps 的链路肯定会遇到以前用过的序列号。时间戳能够让内核接受这种“异常”的数据包。这里需要将其关掉。 net.ipv4.tcp_window_scaling = 0 默认值是 1建议为1 启用RFC 1323定义的window scaling，要支持超过64KB的TCP窗口，必须启用该值（1表示启用），TCP窗口最大至1GB，TCP连接双方都启用时才生效 net.ipv4.tcp_sack = 0 #关闭tcp_sack 默认是 1 建议 1 #启用有选择的应答（Selective Acknowledgment）， #这可以通过有选择地应答乱序接收到的报文来提高性能（这样可以让发送者只发送丢失的报文段）； #（对于广域网通信来说）这个选项应该启用，但是这会增加对 CPU 的占用。 # echo 'net.ipv4.tcp_no_metrics_save = 1' >> /etc/sysctl.conf 当连接关闭的时候，TCP 默认缓存了很多连接指标在 route cache 中，以至于在不久的将来，连接建立的时候，可以用这些值来设置初始化条件。通常，这提升了整体的性能，但是，有时候会引起性能下降， 如果设置的话，TCP 在关闭的时候不缓存这些指标。 net.ipv4.tcp_rmem 用来配置读缓冲的大小，三个值，第一个是这个读缓冲的最小值，第三个是最大值，中间的是默认值。我们可以在程序中修改读缓冲的大小，但是不能超过最小与最大。为了使每个socket所使用的内存数最小，我这里设置默认值为4096。 net.ipv4.tcp_wmem 用来配置写缓冲的大小。 读缓冲与写缓冲在大小，直接影响到socket在内核中内存的占用。 而net.ipv4.tcp_mem则是配置tcp的内存大小，其单位是页，而不是字节。当超过第二个值时，TCP进入pressure模式，此时TCP尝试稳定其内存的使用，当小于第一个值时，就退出pressure模式。当内存占用超过第三个值时，TCP就拒绝分配socket了，查看dmesg，会打出很多的日志“TCP: too many of orphaned sockets”。 另外net.ipv4.tcp_max_orphans这个值也要设置一下，这个值表示系统所能处理不属于任何进程的socket数量，当我们需要快速建立大量连接时，就需要关注下这个值了。当不属于任何进程的socket的数量大于这个值时，dmesg就会看到”too many of orphaned sockets” net.ipv4.conf.all.arp_notify arp通知链操作 0：不做任何操作 1：当设备或硬件地址改变时自动产生一个arp请求 vm.overcommit_memory = 1 #4 redis 可选值：0、1、2。 0， 表示内核将检查是否有足够的可用内存供应用进程使用；如果有足够的可用内存，内存申请允许；否则，内存申请失败，并把错误返回给应用进程。 1， 表示内核允许分配所有的物理内存，而不管当前的内存状态如何。 2， 表示内核允许分配超过所有物理内存和交换空间总和的内存
Note
net.ipv4.tcp_syncookies = 1 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_tw_recycle = 1 net.ipv4.tcp_fin_timeout = 5 tcp_timestamps默认是开启，如果再把tcp_tw_recycle设置为1，则60s内同一源ip主机的socket connect请求中的timestamp必须是递增的。也就是说服务器打开了 tcp_tw_reccycle了，就会检查时间戳，如果对方发来的包的时间戳是乱跳的或者说时间戳是滞后的，这样服务器肯定不会回复，所以服务器就把带了“倒退”的时间戳的包当作是“recycle的tw连接的重传数据，不是新的请求”，于是丢掉不回包，就出现了开始说的syn不响应。 解决方法：在/etc/sysctl.conf文件中再添加如下一行： net.ipv4.tcp_timestamps=0 我以前 好像是把快速回收关闭了 on dkm
net.ipv4.tcp_timestamps引发的tcp syn无响应案
我的kernel高并发配置 on lx
#me add net.ipv4.tcp_max_tw_buckets = 6000 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_keepalive_time = 30 net.ipv4.tcp_window_scaling = 1 # or 1 u is 0 net.ipv4.tcp_sack = 1 net.core.rmem_max=16777216 net.core.wmem_max=16777216 net.ipv4.tcp_no_metrics_save=1 net.ipv4.conf.all.arp_notify = 1 net.ipv4.tcp_rmem=4096 87380 16777216 net.ipv4.tcp_wmem=4096 65536 16777216 net.ipv4.ip_local_port_range = 1024 65535 net.ipv4.tcp_fin_timeout = 10 # or 30 net.ipv4.tcp_tw_recycle = 1 net.ipv4.tcp_timestamps = 0 net.core.netdev_max_backlog = 30000 # or 262144 net.core.somaxconn = 262144 net.ipv4.tcp_syncookies = 1 # I is 1 ,u is 0 net.ipv4.tcp_max_orphans = 262144 net.ipv4.tcp_max_syn_backlog = 262144 net.ipv4.tcp_synack_retries = 2 # or 1 net.ipv4.tcp_syn_retries = 2 # or 1 #4 redis vm.overcommit_memory = 1
ulimit
vi /etc/security/limits.conf # add (*指代系统用户名)，修改Linux系统对用户的关于打开文件数的软限制和硬限制： * soft nofile 65535 * hard nofile 65535 修改/etc/pam.d/login文件，在文件中添加如下行： session required /lib/security/pam_limits.so 如果是64bit系统的话，应该为 : session required /lib64/security/pam_limits.so /sbin/sysctl -p /etc/sysctl.conf /sbin/sysctl -w net.ipv4.route.flush=1 执行如下命令（linux系统优化完网络必须调高系统允许打开的文件数才能支持大的并发，默认1024是远远不够的）： echo 'ulimit -HSn 65536' >> /etc/rc.local echo 'ulimit -HSn 65536' >>/root/.bash_profile /etc/security/limits.d/20-nproc.conf 65535 echo 65535 > /proc/sys/kernel/pid_max ulimit -HSn 65536 重启机器 查看 ulimit -n 65536
see also
有关linux下redis overcommit_memory的问题
LINUX系统全部参数 sysctl -a + 网络参数设置
kernel 优化 高并发
优化Linux内核参数/etc/sysctl.conf sysctl 《高性能Linux服务器构建实战：运维监控、性能调优与集群应用》
