跳到主要内容

怀疑短连接太多,怎么找到证据?

接口偶尔超时,或者 conntrack 表的使用量持续上涨时,可以检查业务有没有频繁创建短连接。

先看 TIME_WAIT 的数量和访问目标,再抓包查看连接建立、关闭的过程,结合短时间内的新建连接数量,找到具体业务。

排查顺序:统计 TIME_WAIT → 找到访问目标 → 抓包观察新建连接 → 查看单条连接 → 结合业务处理。

01 核心原理:短连接为什么值得排查?​

1. 什么是短连接?​

一条 TCP 连接建立后,完成一次请求就关闭。下次请求再重新建立连接,这就是常见的短连接使用方式。

如果业务请求很多,又频繁建立和关闭连接,就会增加连接创建、关闭的开销,也可能让 conntrack 表里的记录增长得很快。

2. TIME_WAIT 是什么?​

TCP 连接关闭过程中,主动关闭连接的一方通常会进入 TIME_WAIT,等待一段时间后由系统清理。

如果不断有新连接关闭,就可能同时看到很多 TIME_WAIT。数量要结合业务平时的连接量和请求量判断,不能单凭某个数字判断故障。

3. TIME_WAIT 和 conntrack 有什么关系?​

ss 看到的是当前网络命名空间里的 TCP 连接状态;conntrack 查看的是内核维护的连接跟踪记录,两者的统计范围和保留时间可能不同。

大量 TIME_WAIT 可以作为排查线索。还要结合新建连接的速度、连接来源和 conntrack 表的使用量,判断短连接是否与问题有关。

02 通用排查:怎么确认短连接创建得频繁?​

下面在发起请求的机器上执行。示例中的目标地址是 <PRIMARY_DB_IP>:8080,实际排查时换成自己的地址和端口。

1. 统计 TIME_WAIT 数量​

ss -Hant state time-wait | wc -l

输出示例:

6328

这是执行命令时的数量。可以隔几秒再查一次,结合平时的数量和业务请求量,看是否有明显变化。

2. 找出主要访问目标​

先看几条连接:

ss -ant state time-wait | head -5

输出示例:

Recv-Q Send-Q Local Address:Port Peer Address:Port
0 0 <REPLICA_DB_IP>:55186 <PRIMARY_DB_IP>:8080
0 0 <REPLICA_DB_IP>:55192 <PRIMARY_DB_IP>:8080

左边是本机地址和端口,右边是对端地址和端口。示例中的两条连接都指向 <PRIMARY_DB_IP>:8080。

想看哪些对端出现得最多,可以按对端地址和端口统计:

ss -Hant state time-wait | awk '{print $4}' | sort | uniq -c | sort -nr | head -10

输出示例:

6100 <PRIMARY_DB_IP>:8080
120 192.168.0.90:3306

第一列是当前处于 TIME_WAIT 的数量。确认主要目标后,再结合 IP、端口、服务配置和监控找到对应业务。

3. 抓包保存连接过程​

先查看访问目标时使用的网卡:

ip route get <PRIMARY_DB_IP>

输出中 dev 后面是网卡名。如果是 ens33,执行:

tcpdump -i ens33 -c 500 -w /tmp/short.pcap 'host <PRIMARY_DB_IP> and tcp port 8080'

命令会把与目标 8080 端口相关的双向数据包保存到 /tmp/short.pcap,抓到 500 个包后自动结束。业务流量较少时,按 Ctrl+C 结束抓包。

-w 会覆盖同名文件;如果 /tmp/short.pcap 已有需要保留的内容,先换一个文件名。抓包需要 root 或相应权限;抓包文件可能包含业务数据,保存和传递时注意权限。

4. 看新连接是否频繁​

从抓包文件中查看发起连接的 SYN 包:

tcpdump -nn -r /tmp/short.pcap 'tcp[tcpflags] & (tcp-syn|tcp-ack) == tcp-syn' | head -10

输出示例,省略了部分字段:

11:16:43.556206 IP <REPLICA_DB_IP>.55186 > <PRIMARY_DB_IP>.8080: Flags [S]
11:16:43.566355 IP <REPLICA_DB_IP>.55192 > <PRIMARY_DB_IP>.8080: Flags [S]
11:16:43.576412 IP <REPLICA_DB_IP>.55198 > <PRIMARY_DB_IP>.8080: Flags [S]

[S] 是发起连接的 SYN 包。示例中,短时间内出现了多个不同源端口的新连接。可以结合抓包持续时间、应用请求量和监控,判断连接创建得是否频繁。

抓包中也可能出现 SYN 重传:如果同一条连接的源 IP、源端口、目标 IP 和目标端口相同,先检查是否为重传,再统计新连接。

5. 看一条连接用了多久​

从文件里找一条 SYN 包:

tcpdump -nn -r /tmp/short.pcap -c 1 'tcp[13]==2'

如果没有找到,可以用上一步的 SYN 筛选命令查看;那条命令也能匹配带其他标志的 SYN 包。

记下源端口。假设是 55186,再筛选这条连接:

tcpdump -nn -r /tmp/short.pcap tcp port 55186

输出示例,省略了部分字段:

11:16:43.556206 IP <REPLICA_DB_IP>.55186 > <PRIMARY_DB_IP>.8080: Flags [S]
11:16:43.556767 IP <PRIMARY_DB_IP>.8080 > <REPLICA_DB_IP>.55186: Flags [S.]
11:16:43.570908 IP <REPLICA_DB_IP>.55186 > <PRIMARY_DB_IP>.8080: Flags [F.]
11:16:43.571103 IP <PRIMARY_DB_IP>.8080 > <REPLICA_DB_IP>.55186: Flags [F.]

[S] 表示发起连接,[S.] 表示对端回复,[F.] 表示发起关闭。对照时间,示例中的连接从发起到客户端发出关闭请求,大约用了 15 毫秒。

单条连接可以看出这次连接关闭得很快;结合上一步多个新连接和 TIME_WAIT 的情况,才能判断业务是否在频繁使用短连接。

6. 找到业务并处理​

根据客户端 IP、目标 IP 和端口,确认是哪个业务在调用。再和应用负责人确认是否可以复用连接,例如使用 HTTP 长连接或数据库连接池。

处理后继续观察新建连接数量、TIME_WAIT、conntrack 表使用率和接口超时情况,确认优化是否生效。

**K8S 环境注意:**普通 Pod 和节点通常处于不同的网络命名空间。节点上执行 ss 可能看不到 Pod 内的连接;可以在具备工具和权限的 Pod 网络环境中查看,节点上则结合 conntrack 记录和抓包定位。

03 实机复现:制造短连接并抓包查看​

1. 实验准备​

准备两台可以互相访问的 Linux 测试机:

机器示例 IP用途
服务端<PRIMARY_DB_IP>监听 TCP 8080 端口
客户端<REPLICA_DB_IP>发送短连接、查看状态和抓包

本文使用 Python 自带的 HTTP 服务和客户端,示例需要 Python 3.7 或以上版本。两台机器都要有 python3;客户端还需要 ss、ip、curl 和 tcpdump。

确认客户端可以访问服务端的 8080 端口,并将后面命令中的 IP、端口和网卡名替换成实际值。实验用于制造短连接,供后续查看状态和抓包,无需调低 conntrack 上限。

客户端缺少工具时,按系统选择一组安装:

# Ubuntu / Debian
apt-get update && apt-get install -y iproute2 tcpdump curl python3

# CentOS / Rocky / AlmaLinux
yum install -y iproute tcpdump curl python3

2. 启动服务端​

在服务端执行。先确认 8080 端口没有被其他服务占用:

ss -lntp | grep ':8080 '

如果有输出,换一个空闲端口,同时修改服务端代码、客户端代码和后续命令里的端口。

创建实验目录和服务端程序。目录已存在时,先确认里面没有需要保留的同名文件:

mkdir -p ~/short-conn-demo && cd ~/short-conn-demo
cat > short-server.py <<'PY'
from http.server import BaseHTTPRequestHandler, ThreadingHTTPServer


class Handler(BaseHTTPRequestHandler):
protocol_version = 'HTTP/1.1'

def do_GET(self):
body = b'ok\n'
self.send_response(200)
self.send_header('Content-Length', str(len(body)))
self.end_headers()
self.wfile.write(body)

def log_message(self, format, *args):
pass


server = ThreadingHTTPServer(('0.0.0.0', 8080), Handler)
print('服务已启动,监听 8080;按 Ctrl+C 停止', flush=True)
server.serve_forever()
PY
python3 short-server.py

保持这个终端运行。服务端支持 HTTP 长连接,后面的客户端会在每次请求后主动关闭连接。

3. 创建并启动短连接请求​

在客户端执行,先确认服务能访问:

curl -sS --connect-timeout 3 http://<PRIMARY_DB_IP>:8080/

看到 ok 后,创建客户端程序。目录已存在时,先确认里面没有需要保留的同名文件:

mkdir -p ~/short-conn-demo && cd ~/short-conn-demo
cat > short-client.py <<'PY'
import http.client
import sys
import time

target = sys.argv[1]

for i in range(1, 5001):
conn = http.client.HTTPConnection(target, 8080, timeout=3)
try:
conn.request('GET', '/')
response = conn.getresponse()
response.read()
if response.status != 200:
raise RuntimeError('请求失败,状态码:%s' % response.status)
finally:
conn.close()

if i % 500 == 0:
print('已完成 %s 次请求' % i, flush=True)
time.sleep(0.01)
PY
python3 short-client.py <PRIMARY_DB_IP>

程序每次请求都新建连接,请求完成后关闭,共执行 5000 次。运行期间,在客户端另开一个终端进行下面的排查;需要提前停止时,按 Ctrl+C。

4. 查看连接状态​

在客户端的新终端执行:

ss -Hant state time-wait | wc -l
ss -ant state time-wait | head -5

可以多执行几次,观察数量和对端地址。实验连接应指向服务端的 8080 端口。具体数量随请求速度、系统状态和查看时间变化,不必与示例数字相同。

只看实验目标的 TIME_WAIT 数量:

ss -Hant state time-wait dst <PRIMARY_DB_IP> dport = :8080 | wc -l

5. 抓包并查看连接​

确认客户端访问服务端使用的网卡:

ip route get <PRIMARY_DB_IP>

假设网卡是 ens33,在客户端以 root 执行:

tcpdump -i ens33 -c 500 -w /tmp/short.pcap 'host <PRIMARY_DB_IP> and tcp port 8080'

等待抓包结束,再查看新建连接:

tcpdump -nn -r /tmp/short.pcap 'tcp[tcpflags] & (tcp-syn|tcp-ack) == tcp-syn' | head -10

选一个源端口,查看这条连接。将 55186 换成实际看到的端口:

tcpdump -nn -r /tmp/short.pcap tcp port 55186

对照 [S] 和 [F.] 前面的时间,可以看到一次连接从发起到关闭的过程。如果客户端程序已经执行完,重新运行 python3 short-client.py <PRIMARY_DB_IP>,再进行抓包。

6. 停止并清理实验​

客户端程序执行完 5000 次后会自动退出,也可以在运行终端按 Ctrl+C 停止。TIME_WAIT 会随时间逐渐减少。

回到服务端终端,按 Ctrl+C 停止 HTTP 服务。确认实验文件不再需要后,在两台机器各自删除实验程序:

rm -f ~/short-conn-demo/short-server.py ~/short-conn-demo/short-client.py
rmdir ~/short-conn-demo 2>/dev/null || true

在客户端删除本次实验的抓包文件:

rm -f /tmp/short.pcap

04 常用命令速查​

想做什么命令
统计 TIME_WAIT 数量ss -Hant state time-wait | wc -l
查看 TIME_WAIT 连接ss -ant state time-wait | head -5
按对端地址统计ss -Hant state time-wait | awk '{print $4}' | sort | uniq -c | sort -nr | head -10
查看目标路由和网卡ip route get <PRIMARY_DB_IP>
保存目标端口的抓包tcpdump -i ens33 -c 500 -w /tmp/short.pcap 'host <PRIMARY_DB_IP> and tcp port 8080'
找一条 SYN 包tcpdump -nn -r /tmp/short.pcap -c 1 'tcp[13]==2'
查看指定端口的连接tcpdump -nn -r /tmp/short.pcap tcp port 55186
查看 conntrack 表使用量sysctl net.netfilter.nf_conntrack_count net.netfilter.nf_conntrack_max

表中的 IP、端口、网卡和文件路径都是示例,使用时换成实际值。

05 面试回答:怎么排查短连接过多?​

先用 ss 统计 TIME_WAIT 的数量,再看这些连接主要访问哪个 IP 和端口,定位到具体业务。

然后针对目标抓包,看短时间内有没有频繁建立新连接,再选一条连接查看从建立到关闭用了多久。

如果确认业务频繁创建短连接,就和开发确认连接池或长连接的使用情况。调整后继续观察新建连接数量、conntrack 表使用率和接口超时情况。

结合自己的实际工作经历,说明具体做过的排查和处理。

06 面试追问与回答​

Q1:TIME_WAIT 多,就一定有故障吗?​

不一定。先看数量和持续时间,再结合平时的业务请求量、连接创建速度以及超时情况判断。

Q2:只看到一条连接用了十几毫秒,能说明连接创建得频繁吗?​

这只能说明这条连接很快就关闭了。还要看一段时间内建立了多少条连接,再结合应用请求量判断。

Q3:抓包时怎么识别新建连接?​

查看发往目标地址和端口的 SYN 包,通常显示为 Flags [S]。再看时间和源端口,区分不同连接和 SYN 重传。

Q4:为什么客户端看不到多少 TIME_WAIT?​

先确认查看的位置是否正确。主动关闭的一方通常会进入 TIME_WAIT;如果服务端主动关闭,也要到服务端查看。K8S 中还要确认是否在正确的网络命名空间。

Q5:ss 里的 TIME_WAIT 和 conntrack 记录一样吗?​

ss 查看 TCP 连接状态,conntrack 查看连接跟踪记录。它们的统计范围和保留时间可能不同。

Q6:短连接多,怎么优化?​

先找到产生连接的业务,再看 HTTP、数据库等客户端能否复用连接。优化后对比新建连接数量、资源使用和业务超时情况。

Q7:抓包里没看到连接关闭,怎么办?​

先确认抓包是否在连接建立前开始,以及抓包结束时连接是否已经关闭。必要时增加抓包时间和数量,再筛选同一条连接。

07 短连接只读检查脚本​

脚本会查看当前网络命名空间的 TIME_WAIT 总数和主要对端。指定 IP 和端口后,还会统计该目标的 TIME_WAIT 数量。脚本只读取连接状态,不抓包,也不修改系统配置。

保存脚本:

cat > check-short-conn.sh <<'EOF'
#!/usr/bin/env bash

if ! command -v ss >/dev/null 2>&1; then
echo '未找到 ss,请先安装 iproute2 或 iproute。' >&2
exit 1
fi

if [ "$#" -ne 0 ] && [ "$#" -ne 2 ]; then
echo "用法:bash $0 [目标IP 目标端口]" >&2
exit 1
fi

if ! time_wait=$(ss -Hant state time-wait); then
echo '获取连接状态失败,请检查执行权限和网络环境。' >&2
exit 1
fi

echo 'TIME_WAIT 总数:'
printf '%s\n' "$time_wait" | awk 'NF {count++} END {print count+0}'

printf '\nTIME_WAIT 最多的对端:\n'
printf '%s\n' "$time_wait" | awk 'NF {print $4}' | sort | uniq -c | sort -nr | head -10

if [ "$#" -eq 2 ]; then
if ! target_wait=$(ss -Hant state time-wait dst "$1" dport = ":$2"); then
echo '目标 IP 或端口查询失败,请检查输入。' >&2
exit 1
fi
printf '\n目标 %s:%s 的 TIME_WAIT 数量:\n' "$1" "$2"
printf '%s\n' "$target_wait" | awk 'NF {count++} END {print count+0}'
fi
EOF

查看整体情况:

bash check-short-conn.sh

查看指定目标,把 IP 和端口换成实际值:

bash check-short-conn.sh <PRIMARY_DB_IP> 8080

脚本显示的是执行时的状态。判断连接是否创建得频繁,还要结合抓包和业务监控。

08 生产处理要点与技术参考​

  • 先找对位置。 在发起调用的机器或 Pod 网络环境里查看连接,结合服务端和节点的情况一起判断。
  • 先找主要目标。 按对端 IP 和端口统计,确认连接属于哪个业务。
  • 抓包看过程。 查看一段时间内的新建连接,再选一条查看建立和关闭的时间。
  • 处理后继续观察。 关注新建连接数量、TIME_WAIT、conntrack 表使用率和接口超时情况。

技术参考: