K8S 服务偶发超时,conntrack 表满怎么排查?
Pod 运行正常,CPU 和内存也没有明显异常,但服务之间偶尔调用超时。这时可以结合报错时间,检查请求两端节点的网络和内核日志。
如果日志出现 nf_conntrack: table full, dropping packet,再对照连接跟踪表的使用量,就有了明确的排查方向。
处理顺序:检查 Pod 和 Service → 查节点日志和表使用量 → 临时恢复业务 → 排查连接增长的原因 → 优化并监控。
01 核心原理:conntrack 表为什么会满?
1. conntrack 是什么?
conntrack 是 Linux 内核的连接跟踪机制,用来记录经过跟踪的网络连接。Kubernetes 中的 Service 转发等场景会用到它。
节点上的连接跟踪表里可能有 TCP、UDP 等不同协议的记录。可以通过下面两个参数查看当前用量和上限:
| 参数 | 含义 |
|---|---|
net.netfilter.nf_conntrack_count | 当前连接跟踪条目数 |
net.netfilter.nf_conntrack_max | 允许的最大条目数 |
2. 表满了会出现什么问题?
当连接创建太快、旧记录释放不及时,条目数就可能接近上限。表满后,新连接的数据包可能被丢弃,业务会出现连接超时或请求失败。
节点内核日志里可能看到:
nf_conntrack: table full, dropping packet
3. 短连接为什么会让表变满?
TCP 连接关闭后,conntrack 记录通常还会保留一段时间。短连接创建得越频繁,表里等待过期的记录可能越多。新记录增长速度超过旧记录释放速度,表就会逐渐被占满。
TIME_WAIT 是连接关闭后可能看到的一种状态。排查时,还要结合新建连接速率、连接来源和应用监控一起看。
02 通用排查:服务超时,怎么检查 conntrack?
这一节适合线上排查。把下面的 业务命名空间 换成实际名称,在有 kubectl 权限的机器上执行:
ns=业务命名空间
kubectl get pod -n "$ns" -o wide
kubectl top pod -n "$ns"
kubectl get svc,ep -n "$ns"
先看异常 Pod 是否运行正常、分别在哪些节点,再看资源使用情况,以及 Service 和 Endpoints 是否对应。kubectl top 需要 Metrics Server;没有安装时,可以先继续其他检查。
1. 查看节点内核日志
登录发生异常的 Pod 所在节点。客户端和服务端可能在不同节点,结合实际超时时间分别检查。
dmesg -T | grep -i conntrack
看到 table full, dropping packet,说明该节点发生过连接跟踪表满。查看日志时间,确认是否和业务超时的时间接近。
2. 查看当前条目数和上限
sysctl net.netfilter.nf_conntrack_count net.netfilter.nf_conntrack_max
把 count 和 max 对比,并结合监控看使用量有没有持续增长。日志里的报错和当前使用量一起看:表满之后,旧记录可能已经过期,当前的 count 会下降。
3. 先恢复业务
确认节点出现表满后,可以根据节点内存、连接规模和当前上限,临时调大容量。例如:
sysctl -w net.netfilter.nf_conntrack_max=262144
262144 是示例,执行前先看当前上限,换成适合自己环境的新值。调整后,观察请求成功率、表使用率和丢包情况。
sysctl -w 是临时修改。长期配置需要结合节点的配置管理方式处理,并检查 kube-proxy 的 conntrack 配置,避免节点重启或组件重启后被其他配置改回。
4. 查连接增长的来源
节点装有 conntrack 工具时,可以先看连接状态:
conntrack -L -p tcp | head -n 20
conntrack -L -p tcp 2>/dev/null | grep TIME_WAIT | head -n 20
再结合来源 IP 定位连接来自哪个业务。下面的 IP 换成实际客户端 Pod IP:
conntrack -L -p tcp -s 10.244.1.10 2>/dev/null | head -n 20
想观察新的 TCP 连接记录,可以短时间查看事件:
timeout 5 conntrack -E -p tcp -e NEW
conntrack -L 展示的是查看时表里已有的记录;判断新建连接是否频繁,还要结合连接事件、应用监控或抓包。表很大时,列出全部连接会消耗节点资源,线上按需使用。
5. 做长期处理
根据排查结果处理连接增长的来源,例如推动应用使用连接池、长连接,减少不必要的短连接。结合连接规模调整表容量;确有必要时,再评估相关超时参数。
同时监控表使用率、连接创建速率和丢包情况。调整后继续观察业务请求,确认问题没有反复。
03 实机故障复现与恢复
1. 实验准备
环境要求
准备一套测试用的 Kubernetes 集群,至少有两个可用工作节点。本文使用:
| 节点 | 用途 |
|---|---|
server-84 | 运行客户端 Pod,制造短连接,调整 conntrack 上限 |
server-85 | 运行 Nginx 服务端 Pod |
在能执行 kubectl 的机器上查看节点名:
kubectl get nodes
后面的 YAML 使用了这两个节点名。如果你的节点名不同,把 YAML 中的两个 nodeName 改成自己的节点名。
需要提前准备:
- 节点可以拉取
nginx:1.26-alpine和curlimages/curl:8.10.1镜像,或提前把镜像导入节点。 - 客户端节点能以 root 执行
sysctl和dmesg;查看连接明细需要安装conntrack。 kubectl top需要集群已安装 Metrics Server。没有安装也可以练习,跳过该命令即可。
请在测试环境操作。 本实验会调低客户端节点的连接跟踪上限,可能影响该节点上的其他 Pod 和新建 SSH 连接。操作前保留一个已登录的客户端节点终端,实验结束后恢复原值。
安装 conntrack 工具
在客户端节点执行,按系统选择一条:
# Ubuntu / Debian
apt-get update && apt-get install -y conntrack
# CentOS / Rocky / AlmaLinux
yum install -y conntrack-tools
2. 创建测试环境
以下 kubectl 命令在能管理集群的机器上执行。
创建命名空间和 Service
kubectl create namespace ct-demo
本实验使用独立的 ct-demo 命名空间。如果它已经存在,请先确认它是空的实验环境。
kubectl apply -f - <<'EOF'
apiVersion: v1
kind: Service
metadata:
name: ct-server
namespace: ct-demo
spec:
selector:
app: ct-server
ports:
- port: 8080
targetPort: 8080
EOF
创建客户端和服务端 Pod
先保存 YAML。节点名不同的话,修改文件里的两处 nodeName,再创建 Pod。
cat > ct-pods.yaml <<'EOF'
apiVersion: v1
kind: Pod
metadata:
name: ct-server
namespace: ct-demo
labels:
app: ct-server
spec:
nodeName: server-85
containers:
- name: server
image: nginx:1.26-alpine
command: ["/bin/sh", "-c"]
args:
- |
cat > /etc/nginx/conf.d/default.conf <<'CONF'
server {
listen 8080;
access_log off;
location / {
return 200 "ok\n";
}
}
CONF
exec nginx -g 'daemon off;'
---
apiVersion: v1
kind: Pod
metadata:
name: ct-client
namespace: ct-demo
spec:
nodeName: server-84
enableServiceLinks: true
containers:
- name: client
image: curlimages/curl:8.10.1
command: ["/bin/sh", "-c"]
args:
- |
target="http://${CT_SERVER_SERVICE_HOST}:8080/"
for i in 1 2 3 4 5 6 7 8; do
(
while true; do
if [ -f /tmp/load ]; then
curl -fsS --connect-timeout 1 --max-time 2 \
-H 'Connection: close' -o /dev/null "$target" \
>/dev/null 2>&1
sleep 0.05
else
sleep 1
fi
done
) &
done
while true; do
curl -fsS --connect-timeout 1 --max-time 2 \
-H 'Connection: close' -o /dev/null "$target" \
2>/tmp/probe.err
result=$?
case "$result" in
0) echo "$(date +%T) OK" ;;
28) echo "$(date +%T) TIMEOUT" ;;
*) echo "$(date +%T) ERROR: $(cat /tmp/probe.err)" ;;
esac
sleep 1
done
EOF
kubectl apply -f ct-pods.yaml
客户端有两组请求:一组持续输出 OK 或 TIMEOUT,用于观察业务;另一组通过 /tmp/load 控制,在后台制造短连接。创建后,后台负载默认关闭。
确认初始状态
kubectl -n ct-demo wait --for=condition=Ready pod --all --timeout=180s
kubectl get pod -n ct-demo -o wide
kubectl get svc,ep -n ct-demo
kubectl logs -n ct-demo ct-client --tail=10
确认两个 Pod 都是 Running,分别在两个节点上;Service 的 Endpoints 中有服务端 Pod 的 IP;客户端日志连续显示 OK。
如果 Pod 一直没有启动,先用 kubectl describe pod -n ct-demo ct-server 或 kubectl describe pod -n ct-demo ct-client 查看原因。镜像拉取失败时,先处理镜像问题。
3. 制造故障
保存原上限
以下命令在客户端所在节点执行,也就是本文的 server-84。
if [ ! -f /root/ct-demo-max.before ]; then
sysctl -n net.netfilter.nf_conntrack_max > /root/ct-demo-max.before
fi
cat /root/ct-demo-max.before
sysctl net.netfilter.nf_conntrack_count net.netfilter.nf_conntrack_max
/root/ct-demo-max.before 用于实验结束后恢复。文件已存在时不会覆盖,请确认文件里的值是本次实验前的原始上限;如果有旧实验留下的文件,先核对原值再处理。
调低上限
先确认当前条目数低于 8192,原上限高于 8192;条件不满足时,按当前节点数值另选一个合适的实验上限。确认后执行:
sysctl -w net.netfilter.nf_conntrack_max=8192
启动短连接负载
回到能执行 kubectl 的机器:
kubectl -n ct-demo exec ct-client -- touch /tmp/load
kubectl -n ct-demo logs -f ct-client --tail=10
在客户端节点另开一个终端,观察表的使用情况:
watch -n 1 'sysctl net.netfilter.nf_conntrack_count net.netfilter.nf_conntrack_max'
短连接会持续产生,条目数逐渐接近上限。表满后,客户端日志可能出现 TIMEOUT。按 Ctrl+C 可以退出 watch 或日志跟踪。
如果长时间都是 TIMEOUT,可以在客户端节点适当调大上限,例如 12288,再观察一段时间。如果一直没有出现超时,可以适当降低上限。每次调整后留一点时间观察,直到出现大部分请求成功、偶尔超时的效果。
不同内核和网络插件的处理方式有差异,超时频率需要在自己的环境里调整。先确认节点日志确实出现表满报错,再进入后面的排查。
4. 按视频顺序排查
检查 Pod、Service 和 Endpoints
在能执行 kubectl 的机器上:
kubectl get pod -n ct-demo -o wide; kubectl top pod -n ct-demo
kubectl get svc,ep -n ct-demo
观察 Pod 状态和所在节点,再看 CPU、内存以及 Service 对应的 Endpoints。实验中 Pod 通常保持运行,Service 和 Endpoints 也正常。
查看节点内核日志
登录客户端所在节点,查看最近的内核日志:
dmesg -T | tail -n 100
关注故障时段是否出现:
nf_conntrack: table full, dropping packet
最近 100 行没有看到时,可以按关键字查找:
dmesg -T | grep -i conntrack
日志中出现表满报错,说明这个节点发生过 conntrack 表满。结合日志时间和业务超时的时间一起判断。
查看表的当前使用量
sysctl net.netfilter.nf_conntrack_count net.netfilter.nf_conntrack_max
示例输出:
net.netfilter.nf_conntrack_count = 8192
net.netfilter.nf_conntrack_max = 8192
count 是当前条目数,max 是上限。输出会随实际情况变化;如果表满后已有记录过期,查看时 count 可能已经下降。
临时恢复业务
本实验之前将上限设为了 8192,这里把它调大。如果实验时使用了其他上限,先确认新值大于当前上限:
sysctl -w net.netfilter.nf_conntrack_max=262144
回到客户端日志观察请求:
kubectl -n ct-demo logs -f ct-client --tail=10
请求恢复为 OK,再结合表使用量继续观察。262144 是实验示例;实际环境按节点内存、连接规模和当前上限选择,确认新值比原上限大。sysctl -w 属于临时修改,重启后通常会由系统配置重新设置。
5. 排查短连接
调大上限后,后台短连接负载仍在运行。在客户端节点查看表里的 TCP 记录:
conntrack -L -p tcp | head -n 20
再筛选处于 TIME_WAIT 状态的记录:
conntrack -L -p tcp 2>/dev/null | grep TIME_WAIT | head -n 20
可以看到类似记录:
tcp 6 110 TIME_WAIT src=10.244.1.10 dst=10.96.0.20 ...
这里的 IP 和剩余时间以实际输出为准。TIME_WAIT 记录说明连接进入了关闭后的等待阶段,conntrack 记录还在表里。表中有其他业务的连接时,可以结合客户端 Pod IP 筛选:
# 先在能执行 kubectl 的机器上查看客户端 Pod IP
kubectl get pod -n ct-demo ct-client -o wide
# 再在客户端节点执行,把 IP 换成查到的客户端 Pod IP
conntrack -L -p tcp -s 10.244.1.10 2>/dev/null | grep TIME_WAIT | head -n 20
本实验的客户端后台一直在请求后关闭连接。实际业务中,可以结合应用监控或抓包,观察短时间内是否频繁建立新连接,再结合连接状态判断原因。
节点装有 tcpdump 时,可以抓取发往 8080 端口的新建连接请求:
timeout 5 tcpdump -i any -nn -c 10 'tcp dst port 8080 and tcp[tcpflags] & (tcp-syn|tcp-ack) == tcp-syn'
输出中的 Flags [S] 是 TCP 建立连接时的 SYN 包。抓包里可能有重传和重复观察到的数据包,结合应用监控一起看连接创建速率。
6. 停止负载并恢复环境
停止后台短连接
在能执行 kubectl 的机器上:
kubectl -n ct-demo exec ct-client -- rm -f /tmp/load
客户端仍会每秒发一个观察请求,后台负载已经停止。刚关闭的连接记录会等超时后逐渐减少。
恢复原来的 conntrack 上限
在客户端节点执行:
sysctl -w net.netfilter.nf_conntrack_max="$(cat /root/ct-demo-max.before)"
sysctl net.netfilter.nf_conntrack_count net.netfilter.nf_conntrack_max
确认 nf_conntrack_max 已恢复为备份的值。如果节点处于表满状态,导致 kubectl exec 无法连接,可以先执行这一步,等节点恢复后再停止负载。
删除实验资源
确认 ct-demo 是本实验专用的命名空间后,在能执行 kubectl 的机器上:
kubectl delete namespace ct-demo
恢复完成并核对原值后,可以在客户端节点删除备份文件:
rm -f /root/ct-demo-max.before
下次重新练习时,先从保存原上限开始。
04 常用命令速查
| 想做什么 | 命令 |
|---|---|
| 查看 Pod 状态和所在节点 | kubectl get pod -n ct-demo -o wide |
| 查看 Pod CPU、内存 | kubectl top pod -n ct-demo |
| 查看 Service 和 Endpoints | kubectl get svc,ep -n ct-demo |
| 查节点表满日志 | dmesg -T | grep -i conntrack |
| 查看当前条目数和上限 | sysctl net.netfilter.nf_conntrack_count net.netfilter.nf_conntrack_max |
| 临时调整表容量 | sysctl -w net.netfilter.nf_conntrack_max=262144 |
| 查看 TCP 连接记录 | conntrack -L -p tcp |
| 查看 TIME_WAIT 记录 | conntrack -L -p tcp 2>/dev/null | grep TIME_WAIT |
| 短时间查看新建连接事件 | timeout 5 conntrack -E -p tcp -e NEW |
表里的命名空间和容量值都是示例,使用时换成自己的实际值。
05 面试回答:遇到过最棘手的 K8S 故障是什么?
之前有套跑在 K8S 里的业务,Pod 之间调用偶尔超时。我先看了 Pod 状态、CPU、内存和 Service,都没有明显异常。
后来查看节点内核日志,发现 conntrack 表满了,当前条目数也接近上限。我先调大表的容量,恢复业务。
继续排查后发现,应用在频繁创建短连接,旧记录还没有释放,新连接又不断进来。后面优化了连接池和长连接,并把表使用率、连接创建速率和丢包情况加到监控里。
面试时按自己的实际经历讲清楚具体负责的工作。
06 面试追问与回答
Q1:conntrack 表是做什么的?
它记录经过 Linux 内核连接跟踪的网络连接,为 Service 转发、NAT 和防火墙等场景提供连接状态信息。
Q2:表满为什么会导致调用超时?
新连接需要创建跟踪记录时,如果表满了,相关数据包可能被丢弃。请求无法正常建立,就可能出现超时。
Q3:怎么确认是 conntrack 表满?
看异常节点的内核日志,确认有没有 table full 报错,再看 nf_conntrack_count 和 nf_conntrack_max,结合业务超时时间和监控判断。
Q4:为什么 Pod 正常,业务还会超时?
Pod 正常运行只说明容器处于运行状态。请求还要经过 Service 和节点网络,节点出现丢包时,业务仍可能超时。
Q5:短连接为什么容易占满表?
连接关闭后,跟踪记录还会保留一段时间。如果短连接创建太快,旧记录还没过期,新记录又不断增加,表就可能被占满。
Q6:看到大量 TIME_WAIT,就能确定是短连接导致的吗?
大量 TIME_WAIT 是一条线索。还要结合来源 IP、新建连接速率和应用监控,确认连接来自哪里、创建得有多频繁。
Q7:调大 nf_conntrack_max 后就不用管了吗?
调大容量可以先缓解问题。后面要排查连接增长的原因,结合业务优化连接使用方式,并持续观察表使用率。
Q8:sysctl -w 调整后,重启还会生效吗?
它修改的是当前运行值。节点重启后的值由系统配置和集群组件配置决定,持久化前要检查现有配置,特别是 kube-proxy 的 conntrack 设置。
07 conntrack 只读检查脚本
这个脚本在节点上执行,查看连接跟踪表使用率、近期相关内核日志和 conntrack 统计。它不修改节点配置。
保存脚本:
cat > check-conntrack.sh <<'EOF'
#!/usr/bin/env bash
set -u
count=$(sysctl -n net.netfilter.nf_conntrack_count 2>/dev/null) || {
echo "无法读取 nf_conntrack_count,请检查内核模块和权限。" >&2
exit 1
}
max=$(sysctl -n net.netfilter.nf_conntrack_max 2>/dev/null) || {
echo "无法读取 nf_conntrack_max。" >&2
exit 1
}
if [[ ! "$count" =~ ^[0-9]+$ || ! "$max" =~ ^[0-9]+$ ]]; then
echo "读取到的连接跟踪参数不是数字。" >&2
exit 1
fi
printf '当前条目数:%s\n最大条目数:%s\n' "$count" "$max"
awk -v count="$count" -v max="$max" 'BEGIN {
if (max > 0) printf "使用率:%.1f%%\n", count * 100 / max
else print "使用率:无法计算"
}'
printf '\n最近的 conntrack 内核日志:\n'
if dmesg -T >/dev/null 2>&1; then
dmesg -T | grep -i conntrack | tail -n 5 || true
else
echo "无法读取内核日志,请检查权限。"
fi
printf '\nconntrack 统计:\n'
if command -v conntrack >/dev/null 2>&1; then
conntrack -S 2>/dev/null || echo "读取统计失败,请检查权限。"
else
echo "未安装 conntrack 工具。"
fi
EOF
以 root 执行:
bash check-conntrack.sh
输出中的使用率反映执行时的情况。内核日志要结合故障时间查看;conntrack -S 是各 CPU 的统计信息,可以对比故障期间的变化。
08 生产处理要点与技术参考
- 先核对故障节点。 结合客户端和服务端所在节点、业务超时时间以及内核日志定位。
- 先恢复,再查原因。 按内存和连接规模调整容量,观察业务是否恢复;随后排查连接来源和增长原因。
- 长期配置按集群现状处理。 确认系统参数和 kube-proxy 的配置来源,避免重启后配置不一致。
- 持续监控。 关注表使用率、新建连接速率、丢包和业务请求成功率。
技术参考: