怀疑短连接太多,怎么找到证据?
接口偶尔超时,或者 conntrack 表的使用量持续上涨时,可以检查业务有没有频繁创建短连接。
先看 TIME_WAIT 的数量和访问目标,再抓包查看连接建立、关闭的过程,结合短时间内的新建连接数量,找到具体业务。
排查顺序:统计 TIME_WAIT → 找到访问目标 → 抓包观察新建连接 → 查看单条连接 → 结合业务处理。
01 核心原理:短连接为什么值得排查?
1. 什么是短连接?
一条 TCP 连接建立后,完成一次请求就关闭。下次请求再重新建立连接,这就是常见的短连接使用方式。
如果业务请求很多,又频繁建立和关闭连接,就会增加连接创建、关闭的开销,也可能让 conntrack 表里的记录增长得很快。
2. TIME_WAIT 是什么?
TCP 连接关闭过程中,主动关闭连接的一方通常会进入 TIME_WAIT,等待一段时间后由系统清理。
如果不断有新连接关闭,就可能同时看到很多 TIME_WAIT。数量要结合业务平时的连接量和请求量判断,不能单凭某个数字判断故障。
3. TIME_WAIT 和 conntrack 有什么关系?
ss 看到的是当前网络命名空间里的 TCP 连接状态;conntrack 查看的是内核维护的连接跟踪记录,两者的统计范围和保留时间可能不同。
大量 TIME_WAIT 可以作为排查线索。还要结合新建连接的速度、连接来源和 conntrack 表的使用量,判断短连接是否与问题有关。
02 通用排查:怎么确认短连接创建得频繁?
下面在发起请求的机器上执行。示例中的目标地址是 <PRIMARY_DB_IP>:8080,实际排查时换成自己的地址和端口。
1. 统计 TIME_WAIT 数量
ss -Hant state time-wait | wc -l
输出示例:
6328
这是执行命令时的数量。可以隔几秒再查一次,结合平时的数量和业务请求量,看是否有明显变化。
2. 找出主要访问目标
先看几条连接:
ss -ant state time-wait | head -5
输出示例:
Recv-Q Send-Q Local Address:Port Peer Address:Port
0 0 <REPLICA_DB_IP>:55186 <PRIMARY_DB_IP>:8080
0 0 <REPLICA_DB_IP>:55192 <PRIMARY_DB_IP>:8080
左边是本机地址和端口,右边是对端地址和端口。示例中的两条连接都指向 <PRIMARY_DB_IP>:8080。
想看哪些对端出现得最多,可以按对端地址和端口统计:
ss -Hant state time-wait | awk '{print $4}' | sort | uniq -c | sort -nr | head -10
输出示例:
6100 <PRIMARY_DB_IP>:8080
120 192.168.0.90:3306
第一列是当前处于 TIME_WAIT 的数量。确认主要目标后,再结合 IP、端口、服务配置和监控找到对应业务。
3. 抓包保存连接过程
先查看访问目标时使用的网卡:
ip route get <PRIMARY_DB_IP>
输出中 dev 后面是网卡名。如果是 ens33,执行:
tcpdump -i ens33 -c 500 -w /tmp/short.pcap 'host <PRIMARY_DB_IP> and tcp port 8080'
命令会把与目标 8080 端口相关的双向数据包保存到 /tmp/short.pcap,抓到 500 个包后自动结束。业务流量较少时,按 Ctrl+C 结束抓包。
-w 会覆盖同名文件;如果 /tmp/short.pcap 已有需要保留的内容,先换一个文件名。抓包需要 root 或相应权限;抓包文件可能包含业务数据,保存和传递时注意权限。
4. 看新连接是否频繁
从抓包文件中查看发起连接的 SYN 包:
tcpdump -nn -r /tmp/short.pcap 'tcp[tcpflags] & (tcp-syn|tcp-ack) == tcp-syn' | head -10
输出示例,省略了部分字段:
11:16:43.556206 IP <REPLICA_DB_IP>.55186 > <PRIMARY_DB_IP>.8080: Flags [S]
11:16:43.566355 IP <REPLICA_DB_IP>.55192 > <PRIMARY_DB_IP>.8080: Flags [S]
11:16:43.576412 IP <REPLICA_DB_IP>.55198 > <PRIMARY_DB_IP>.8080: Flags [S]
[S] 是发起连接的 SYN 包。示例中,短时间内出现了多个不同源端口的新连接。可以结合抓包持续时间、应用请求量和监控,判断连接创建得是否频繁。
抓包中也可能出现 SYN 重传:如果同一条连接的源 IP、源端口、目标 IP 和目标端口相同,先检查是否为重传,再统计新连接。
5. 看一条连接用了多久
从文件里找一条 SYN 包:
tcpdump -nn -r /tmp/short.pcap -c 1 'tcp[13]==2'
如果没有找到,可以用上一步的 SYN 筛选命令查看;那条命令也能匹配带其他标志的 SYN 包。
记下源端口。假设是 55186,再筛选这条连接:
tcpdump -nn -r /tmp/short.pcap tcp port 55186
输出示例,省略了部分字段:
11:16:43.556206 IP <REPLICA_DB_IP>.55186 > <PRIMARY_DB_IP>.8080: Flags [S]
11:16:43.556767 IP <PRIMARY_DB_IP>.8080 > <REPLICA_DB_IP>.55186: Flags [S.]
11:16:43.570908 IP <REPLICA_DB_IP>.55186 > <PRIMARY_DB_IP>.8080: Flags [F.]
11:16:43.571103 IP <PRIMARY_DB_IP>.8080 > <REPLICA_DB_IP>.55186: Flags [F.]
[S] 表示发起连接,[S.] 表示对端回复,[F.] 表示发起关闭。对照时间,示例中的连接从发起到客户端发出关闭请求,大约用了 15 毫秒。
单条连接可以看出这次连接关闭得很快;结合上一步多个新连接和 TIME_WAIT 的情况,才能判断业务是否在频繁使用短连接。
6. 找到业务并处理
根据客户端 IP、目标 IP 和端口,确认是哪个业务在调用。再和应用负责人确认是否可以复用连接,例如使用 HTTP 长连接或数据库连接池。
处理后继续观察新建连接数量、TIME_WAIT、conntrack 表使用率和接口超时情况,确认优化是否生效。
**K8S 环境注意:**普通 Pod 和节点通常处于不同的网络命名空间。节点上执行 ss 可能看不到 Pod 内的连接;可以在具备工具和权限的 Pod 网络环境中查看,节点上则结合 conntrack 记录和抓包定位。
03 实机复现:制造短连接并抓包查看
1. 实验准备
准备两台可以互相访问的 Linux 测试机:
| 机器 | 示例 IP | 用途 |
|---|---|---|
| 服务端 | <PRIMARY_DB_IP> | 监听 TCP 8080 端口 |
| 客户端 | <REPLICA_DB_IP> | 发送短连接、查看状态和抓包 |
本文使用 Python 自带的 HTTP 服务和客户端,示例需要 Python 3.7 或以上版本。两台机器都要有 python3;客户端还需要 ss、ip、curl 和 tcpdump。
确认客户端可以访问服务端的 8080 端口,并将后面命令中的 IP、端口和网卡名替换成实际值。实验用于制造短连接,供后续查看状态和抓包,无需调低 conntrack 上限。
客户端缺少工具时,按系统选择一组安装:
# Ubuntu / Debian
apt-get update && apt-get install -y iproute2 tcpdump curl python3
# CentOS / Rocky / AlmaLinux
yum install -y iproute tcpdump curl python3
2. 启动服务端
在服务端执行。先确认 8080 端口没有被其他服务占用:
ss -lntp | grep ':8080 '
如果有输出,换一个空闲端口,同时修改服务端代码、客户端代码和后续命令里的端口。
创建实验目录和服务端程序。目录已存在时,先确认里面没有需要保留的同名文件:
mkdir -p ~/short-conn-demo && cd ~/short-conn-demo
cat > short-server.py <<'PY'
from http.server import BaseHTTPRequestHandler, ThreadingHTTPServer
class Handler(BaseHTTPRequestHandler):
protocol_version = 'HTTP/1.1'
def do_GET(self):
body = b'ok\n'
self.send_response(200)
self.send_header('Content-Length', str(len(body)))
self.end_headers()
self.wfile.write(body)
def log_message(self, format, *args):
pass
server = ThreadingHTTPServer(('0.0.0.0', 8080), Handler)
print('服务已启动,监听 8080;按 Ctrl+C 停止', flush=True)
server.serve_forever()
PY
python3 short-server.py
保持这个终端运行。服务端支持 HTTP 长连接,后面的客户端会在每次请求后主动关闭连接。
3. 创建并启动短连接请求
在客户端执行,先确认服务能访问:
curl -sS --connect-timeout 3 http://<PRIMARY_DB_IP>:8080/
看到 ok 后,创建客户端程序。目录已存在时,先确认里面没有需要保留的同名文件:
mkdir -p ~/short-conn-demo && cd ~/short-conn-demo
cat > short-client.py <<'PY'
import http.client
import sys
import time
target = sys.argv[1]
for i in range(1, 5001):
conn = http.client.HTTPConnection(target, 8080, timeout=3)
try:
conn.request('GET', '/')
response = conn.getresponse()
response.read()
if response.status != 200:
raise RuntimeError('请求失败,状态码:%s' % response.status)
finally:
conn.close()
if i % 500 == 0:
print('已完成 %s 次请求' % i, flush=True)
time.sleep(0.01)
PY
python3 short-client.py <PRIMARY_DB_IP>
程序每次请求都新建连接,请求完成后关闭,共执行 5000 次。运行期间,在客户端另开一个终端进行下面的排查;需要提前停止时,按 Ctrl+C。
4. 查看连接状态
在客户端的新终端执行:
ss -Hant state time-wait | wc -l
ss -ant state time-wait | head -5
可以多执行几次,观察数量和对端地址。实验连接应指向服务端的 8080 端口。具体数量随请求速度、系统状态和查看时间变化,不必与示例数字相同。
只看实验目标的 TIME_WAIT 数量:
ss -Hant state time-wait dst <PRIMARY_DB_IP> dport = :8080 | wc -l
5. 抓包并查看连接
确认客户端访问服务端使用的网卡:
ip route get <PRIMARY_DB_IP>
假设网卡是 ens33,在客户端以 root 执行:
tcpdump -i ens33 -c 500 -w /tmp/short.pcap 'host <PRIMARY_DB_IP> and tcp port 8080'
等待抓包结束,再查看新建连接:
tcpdump -nn -r /tmp/short.pcap 'tcp[tcpflags] & (tcp-syn|tcp-ack) == tcp-syn' | head -10
选一个源端口,查看这条连接。将 55186 换成实际看到的端口:
tcpdump -nn -r /tmp/short.pcap tcp port 55186
对照 [S] 和 [F.] 前面的时间,可以看到一次连接从发起到关闭的过程。如果客户端程序已经执行完,重新运行 python3 short-client.py <PRIMARY_DB_IP>,再进行抓包。
6. 停止并清理实验
客户端程序执行完 5000 次后会自动退出,也可以在运行终端按 Ctrl+C 停止。TIME_WAIT 会随时间逐渐减少。
回到服务端终端,按 Ctrl+C 停止 HTTP 服务。确认实验文件不再需要后,在两台机器各自删除实验程序:
rm -f ~/short-conn-demo/short-server.py ~/short-conn-demo/short-client.py
rmdir ~/short-conn-demo 2>/dev/null || true
在客户端删除本次实验的抓包文件:
rm -f /tmp/short.pcap
04 常用命令速查
| 想做什么 | 命令 |
|---|---|
| 统计 TIME_WAIT 数量 | ss -Hant state time-wait | wc -l |
| 查看 TIME_WAIT 连接 | ss -ant state time-wait | head -5 |
| 按对端地址统计 | ss -Hant state time-wait | awk '{print $4}' | sort | uniq -c | sort -nr | head -10 |
| 查看目标路由和网卡 | ip route get <PRIMARY_DB_IP> |
| 保存目标端口的抓包 | tcpdump -i ens33 -c 500 -w /tmp/short.pcap 'host <PRIMARY_DB_IP> and tcp port 8080' |
| 找一条 SYN 包 | tcpdump -nn -r /tmp/short.pcap -c 1 'tcp[13]==2' |
| 查看指定端口的连接 | tcpdump -nn -r /tmp/short.pcap tcp port 55186 |
| 查看 conntrack 表使用量 | sysctl net.netfilter.nf_conntrack_count net.netfilter.nf_conntrack_max |
表中的 IP、端口、网卡和文件路径都是示例,使用时换成实际值。
05 面试回答:怎么排查短连接过多?
先用
ss统计TIME_WAIT的数量,再看这些连接主要访问哪个 IP 和端口,定位到具体业务。然后针对目标抓包,看短时间内有没有频繁建立新连接,再选一条连接查看从建立到关闭用了多久。
如果确认业务频繁创建短连接,就和开发确认连接池或长连接的使用情况。调整后继续观察新建连接数量、conntrack 表使用率和接口超时情况。
结合自己的实际工作经历,说明具体做过的排查和处理。
06 面试追问与回答
Q1:TIME_WAIT 多,就一定有故障吗?
不一定。先看数量和持续时间,再结合平时的业务请求量、连接创建速度以及超时情况判断。
Q2:只看到一条连接用了十几毫秒,能说明连接创建得频繁吗?
这只能说明这条连接很快就关闭了。还要看一段时间内建立了多少条连接,再结合应用请求量判断。
Q3:抓包时怎么识别新建连接?
查看发往目标地址和端口的 SYN 包,通常显示为 Flags [S]。再看时间和源端口,区分不同连接和 SYN 重传。
Q4:为什么客户端看不到多少 TIME_WAIT?
先确认查看的位置是否正确。主动关闭的一方通常会进入 TIME_WAIT;如果服务端主动关闭,也要到服务端查看。K8S 中还要确认是否在正确的网络命名空间。
Q5:ss 里的 TIME_WAIT 和 conntrack 记录一样吗?
ss 查看 TCP 连接状态,conntrack 查看连接跟踪记录。它们的统计范围和保留时间可能不同。
Q6:短连接多,怎么优化?
先找到产生连接的业务,再看 HTTP、数据库等客户端能否复用连接。优化后对比新建连接数量、资源使用和业务超时情况。
Q7:抓包里没看到连接关闭,怎么办?
先确认抓包是否在连接建立前开始,以及抓包结束时连接是否已经关闭。必要时增加抓包时间和数量,再筛选同一条连接。
07 短连接只读检查脚本
脚本会查看当前网络命名空间的 TIME_WAIT 总数和主要对端。指定 IP 和端口后,还会统计该目标的 TIME_WAIT 数量。脚本只读取连接状态,不抓包,也不修改系统配置。
保存脚本:
cat > check-short-conn.sh <<'EOF'
#!/usr/bin/env bash
if ! command -v ss >/dev/null 2>&1; then
echo '未找到 ss,请先安装 iproute2 或 iproute。' >&2
exit 1
fi
if [ "$#" -ne 0 ] && [ "$#" -ne 2 ]; then
echo "用法:bash $0 [目标IP 目标端口]" >&2
exit 1
fi
if ! time_wait=$(ss -Hant state time-wait); then
echo '获取连接状态失败,请检查执行权限和网络环境。' >&2
exit 1
fi
echo 'TIME_WAIT 总数:'
printf '%s\n' "$time_wait" | awk 'NF {count++} END {print count+0}'
printf '\nTIME_WAIT 最多的对端:\n'
printf '%s\n' "$time_wait" | awk 'NF {print $4}' | sort | uniq -c | sort -nr | head -10
if [ "$#" -eq 2 ]; then
if ! target_wait=$(ss -Hant state time-wait dst "$1" dport = ":$2"); then
echo '目标 IP 或端口查询失败,请检查输入。' >&2
exit 1
fi
printf '\n目标 %s:%s 的 TIME_WAIT 数量:\n' "$1" "$2"
printf '%s\n' "$target_wait" | awk 'NF {count++} END {print count+0}'
fi
EOF
查看整体情况:
bash check-short-conn.sh
查看指定目标,把 IP 和端口换成实际值:
bash check-short-conn.sh <PRIMARY_DB_IP> 8080
脚本显示的是执行时的状态。判断连接是否创建得频繁,还要结合抓包和业务监控。
08 生产处理要点与技术参考
- 先找对位置。 在发起调用的机器或 Pod 网络环境里查看连接,结合服务端和节点的情况一起判断。
- 先找主要目标。 按对端 IP 和端口统计,确认连接属于哪个业务。
- 抓包看过程。 查看一段时间内的新建连接,再选一条查看建立和关闭的时间。
- 处理后继续观察。 关注新建连接数量、
TIME_WAIT、conntrack 表使用率和接口超时情况。
技术参考: