跳到主要内容

Linux负载飙升,CPU却很闲?从D状态到NFS故障,一次讲清楚

实验环境: Ubuntu 22.04.5 LTS、Linux 5.15、4核CPU、8GB内存、VMware虚拟机。
实测结论: 20个测试进程访问失去响应的NFS共享目录,1分钟Load升至16.67,CPU仍有91%的空闲时间,ps查到21个D状态任务。

01 核心原理与排查思路​

1. Load Average到底是什么?​

**Load Average(系统平均负载)**统计一段时间内,有多少任务正在运行、等CPU运行,或者卡在不可中断的内核等待中。

Linux主要把两类任务算进Load:

  • R状态: 正在CPU上运行,或者已经准备好、正在等CPU运行。
  • D状态: 进入不可中断睡眠,常见于等待磁盘IO、NFS等内核操作。

注意这里的“任务”也包括线程。一个程序开了很多线程,这些线程也可能分别影响负载。

执行:

uptime

示例:

load average: 16.67, 5.85, 2.13

三个数字分别代表最近1分钟、5分钟、15分钟的平均负载。数字越靠前,反映的变化越快。

这台机器只有4个CPU核心。1分钟Load达到16.67,说明系统里积累了大量需要CPU或等待内核操作的任务。接下来要分清它们是R状态还是D状态。

2. CPU使用率和Load有什么区别?​

CPU使用率: CPU有多少时间正在干活。

Load: 有多少任务正在运行、排队等CPU,或者卡在D状态。

举个例子:

  • 20个任务疯狂计算,CPU忙,Load也可能很高。
  • 20个任务访问无响应的NFS存储,任务被卡住,CPU很空闲,Load照样升高。

所以排查高Load,要先看CPU使用率,再看任务状态。

3. D状态为什么会把Load顶上去?​

一个进程发起文件读取,内核需要等待磁盘或网络存储返回数据。

如果请求长时间没有返回,进程就可能进入D状态。进程不消耗多少CPU,但Linux仍把它计入Load。

这次实验的过程很简单:

读取NFS文件 → NFS通信被拦截 → RPC请求持续等待 → 20个cat进程进入D状态 → Load升高 → CPU继续空闲。

4. 排查顺序​

top看现象 → vmstat看运行与阻塞情况 → ps找D状态任务和等待位置 → 按等待位置排查NFS或磁盘。

重点看下面这些信息:

工具看什么用来判断什么
topload average、%Cpu(s)里的id负载高不高,CPU忙不忙
vmstat 1r、b、id、wa是否有CPU运行队列或IO阻塞迹象
psSTAT、WCHAN、COMMAND哪些任务处于D状态,卡在什么内核等待位置
findmnt、nfsstatNFS挂载源与参数任务访问的是哪个网络存储
iostatawait、r/s、w/s、%util本地块设备读写是否缓慢或繁忙

02 生产环境故障排查SOP​

步骤一:用top确认高Load、低CPU​

top

这次实机输出:

top - 12:27:46 ... load average: 16.67, 5.85, 2.13
%Cpu(s): 2.2 us, 6.7 sy, 0.0 ni, 91.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st

重点看两个位置:

  1. load average:1分钟负载已经16.67。
  2. id:CPU空闲率91%,说明CPU还有大量空闲时间。

us是用户态CPU时间,sy是内核态CPU时间,wa是CPU处于IO等待统计状态的时间,st是虚拟机被宿主机占用的CPU时间。

步骤二:用vmstat看r和b​

vmstat 1

1表示每隔1秒刷新一次,按Ctrl+C结束。

本次实测:

procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
0 0 0 3315820 232852 4009668 0 0 0 0 248 221 0 0 100 0 0
0 0 0 3315820 232852 4009668 0 0 0 0 232 224 0 0 100 0 0

这里先记住四个字段:

  • r:正在运行或者等待CPU的任务数量。
  • b:等待IO完成的阻塞任务数量。
  • id:CPU空闲时间比例。
  • wa:CPU的IO等待时间比例。

本次r=0、b=0,但ps能找到21个D状态任务。 原因是两项统计的口径不同:vmstat的b读取内核的IO阻塞计数,这批NFS RPC等待任务没有体现在b里;ps读取到的进程状态仍然是D。

步骤三:用ps找D状态任务​

完整命令:

ps -eo pid,stat,wchan:24,comm

这条命令会列出所有任务。要快速定位问题,可以只筛选D状态:

ps -eo pid,stat,wchan:24,comm | awk 'NR==1 || $2 ~ /^D/'

实机输出节选:

PID STAT WCHAN COMMAND
910585 D rpc_wait_bit_killable cat
910586 D rpc_wait_bit_killable cat
910587 D rpc_wait_bit_killable cat
910588 D rpc_wait_bit_killable cat
...
910604 D rpc_wait_bit_killable cat
910611 D rpc_wait_bit_killable 127.0.0.1-manag

四列分别表示:

字段含义
PID进程编号
STAT进程状态,D表示不可中断睡眠
WCHAN任务正在等待的内核函数或等待位置
COMMAND进程或任务名称

本次20个cat进程全部进入D状态,另外还出现一个NFS相关的等待任务,总数21个。

rpc_wait_bit_killable可以拆开理解:

  • RPC:远程过程调用,程序向另一端请求执行操作并等待结果。
  • wait:等待。
  • killable:内核等待函数名称中的一部分,表示使用可响应特定终止信号的等待机制。

这次它出现在NFS文件读取过程中,所以接下来沿着NFS链路查。

步骤四:检查NFS挂载、网络和存储服务​

先找NFS挂载点:

findmnt -t nfs,nfs4

本次实验挂载的是:

/mnt/nfs-lab 127.0.0.1:/srv/nfs-lab nfs4

再看挂载参数:

nfsstat -m

实机关键参数:

/mnt/nfs-lab from 127.0.0.1:/srv/nfs-lab
Flags: ... vers=4.2,hard,proto=tcp,timeo=50,retrans=2,addr=127.0.0.1

这些参数的意思:

  • vers=4.2:使用NFS 4.2协议。
  • proto=tcp:通过TCP通信。
  • hard:请求失败后持续重试,等待服务端恢复。
  • timeo=50:NFS请求的基础超时值为5秒,单位是十分之一秒。
  • retrans=2:达到指定重传次数后进入后续恢复处理;hard挂载仍会继续尝试完成请求。

这次实验是在本机拦截NFS端口2049,模拟存储服务无法响应。 所以我们直接查看实验防火墙规则:

iptables -S OUTPUT | grep nfs-d-lab

故障期间输出:

-A OUTPUT -d 127.0.0.1/32 -p tcp -m tcp --dport 2049 -m comment --comment nfs-d-lab -j DROP

这就找到原因了:NFS客户端发往2049端口的请求被DROP规则丢弃,进程一直等RPC请求返回。

生产环境还要顺着这一条链路查:

  1. 用findmnt找到真正的NFS服务器地址和挂载路径。
  2. 检查客户端到服务器的网络路由、防火墙和2049端口。
  3. 检查NFS服务器服务状态、资源使用情况和共享目录。
  4. 结合客户端与服务端抓包,定位请求卡在哪一段。

查看NFS端口连接:

ss -tn | grep ':2049'

在有tcpdump的机器上抓包:

tcpdump -ni any 'tcp port 2049'

抓包要关注:请求有没有发出、对端有没有回复、TCP是否持续重传。

现场提醒: 已经卡住的NFS挂载点,执行ls、cat、df等命令也可能卡住。先查挂载信息、网络和服务端状态。

步骤五:如果等待位置指向本地磁盘IO​

执行:

iostat -xz 1 3

重点看:

字段说明怎么判断
r/s、w/s每秒读写请求次数读写请求是否突然增加
r_await、w_await读写请求平均耗时,单位毫秒数值持续上升,说明读写响应变慢
aqu-sz平均排队的IO请求数量持续较高说明请求积压
%util设备处理IO的忙碌时间比例对机械盘等串行设备有参考价值,需要结合延迟一起看

再查内核有没有磁盘错误:

journalctl -k --no-pager | grep -Ei 'I/O error|blk_update_request|reset|timeout|ext4|xfs' | tail -40

iostat查读写速度、排队和延迟;磁盘坏道、硬件错误要结合内核日志、SMART或存储设备告警查。

本次演示的是NFS网络请求阻塞,本地磁盘指标可能很正常。这部分用于说明生产上遇到其他D状态等待点时的排查方法。


03 实机故障复现与恢复​

1. 实验环境​

项目配置
操作系统Ubuntu 22.04.5 LTS
内核版本5.15.0-198-generic
CPU/内存4核、约8GB
虚拟化VMware
NFS本机同时充当服务端和客户端,NFS 4.2
共享目录服务端/srv/nfs-lab
挂载目录客户端/mnt/nfs-lab
故障方式用iptables丢弃本机发往TCP 2049的NFS请求

在独立的实验虚拟机里操作,先做好快照。下面的故障不会自动恢复,需要手动删除规则。

2. 安装软件​

apt update && apt install -y nfs-kernel-server nfs-common sysstat
  • nfs-kernel-server:NFS服务端。
  • nfs-common:NFS客户端工具。
  • sysstat:提供iostat等性能分析命令。

3. 创建NFS共享​

mkdir -p /srv/nfs-lab /etc/exports.d
echo 'NFS test' > /srv/nfs-lab/test.txt
echo 'NFS LAB' > /srv/nfs-lab/probe-test-001
printf '%s\n' '/srv/nfs-lab 127.0.0.1(rw,sync,no_subtree_check,insecure)' > /etc/exports.d/nfs-lab.exports
systemctl start nfs-server
exportfs -ra
exportfs -v

配置只允许本机地址127.0.0.1访问共享目录。

如果机器已有NFS服务,先检查现有配置再操作,避免影响别的共享。

4. 挂载并验证正常访问​

mkdir -p /mnt/nfs-lab
mount -t nfs -o vers=4,hard,timeo=50,retrans=2 127.0.0.1:/srv/nfs-lab /mnt/nfs-lab
findmnt /mnt/nfs-lab
cat /mnt/nfs-lab/test.txt

正常输出:

NFS test

这一步完成后,先确认正常读取,再开始拦截通信。

5. 制造故障:20个进程访问无响应NFS​

建议使用两个SSH窗口:一个执行故障模拟与恢复命令,另一个观察系统指标。

执行:

iptables -I OUTPUT 1 -d 127.0.0.1 -p tcp --dport 2049 \
-m comment --comment nfs-d-lab -j DROP

for i in $(seq 1 20); do
cat /mnt/nfs-lab/probe-test-001 >/dev/null &
done

这20个cat进程会尝试读取NFS文件。因为NFS通信被拦截,请求持续等待,进程进入D状态。

不要重复执行添加规则的命令。 重复添加会产生多条DROP规则,恢复时要逐条删除。

6. 实验结果​

故障期间:

load average: 16.67, 5.85, 2.13
%Cpu(s): 2.2 us, 6.7 sy, 91.0 id, 0.0 wa

D状态任务:

PID STAT WCHAN COMMAND
910507 D rpc_wait_bit_killable cat
910508 D rpc_wait_bit_killable cat
...
910526 D rpc_wait_bit_killable cat
910528 D rpc_wait_bit_killable 127.0.0.1-manag

统计结果:

指标实际结果
1分钟Load16.67
CPU空闲率91%
D状态任务数21
内核等待点rpc_wait_bit_killable
vmstat的r、b0、0
故障根因TCP 2049被实验防火墙规则丢弃,NFS请求持续等待

这组数据直接证明:CPU很空闲,系统Load照样能被大量D状态任务推高。

7. 手动恢复​

实验结束后,执行:

iptables -D OUTPUT -d 127.0.0.1 -p tcp --dport 2049 \
-m comment --comment nfs-d-lab -j DROP

然后检查:

iptables -S OUTPUT | grep nfs-d-lab || echo '实验规则已删除'
ps -eo pid,stat,comm | awk '$2 ~ /^D/'
cat /mnt/nfs-lab/test.txt
uptime

实际恢复结果:实验规则消失,20个cat进程陆续结束,D状态任务清空,NFS重新返回NFS test。

Load是平均值,故障解除后会逐步下降,不会立刻变成0。

恢复时先删DROP规则,再访问NFS目录。 遇到多条重复实验规则,需要全部删完。


04 常用排查命令速查表​

检查内容命令
当前Load与运行时长uptime
CPU、Load和进程状态top
CPU队列与IO阻塞统计vmstat 1
全部进程状态与等待位置ps -eo pid,stat,wchan:24,comm
只看D状态任务ps -eo pid,stat,wchan:24,comm | awk 'NR==1 || $2 ~ /^D/'
D状态任务数量ps -eo stat= | awk '$1 ~ /^D/ {n++} END {print n+0}'
所有NFS挂载findmnt -t nfs,nfs4
查看指定NFS挂载findmnt /mnt/nfs-lab
NFS挂载详细参数nfsstat -m
TCP 2049连接ss -tn | grep ':2049'
抓取NFS网络包tcpdump -ni any 'tcp port 2049'
磁盘IO性能iostat -xz 1 3
最近内核磁盘错误journalctl -k --no-pager | grep -Ei 'I/O error|timeout|reset' | tail -40
检查本次实验规则iptables -S OUTPUT | grep nfs-d-lab
实验后检查Loaduptime

05 面试回答:Linux负载很高,但CPU使用率很低,怎么排查?​

遇到Linux系统负载很高,但CPU使用率很低的情况,我会先用top确认Load和CPU空闲率。

因为Linux的Load会统计R状态和D状态任务。R表示正在运行或等待CPU,D表示进程在等待磁盘IO、网络存储等内核操作完成。

接着用vmstat 1查看r和b,判断CPU排队和IO阻塞情况。

然后用ps -eo pid,stat,wchan:24,comm找到D状态进程,通过WCHAN查看具体卡在内核的哪个位置。

如果卡在NFS相关的RPC等待上,就检查NFS挂载、存储服务器和网络连通性。

如果卡在本地磁盘IO上,就用iostat检查磁盘读写延迟、队列和利用率,再结合系统日志定位原因。

找到问题后,恢复对应的存储或网络服务,最后重新检查Load和进程状态,确认故障解除。

回答重点: 先解释原理,再说排查顺序。


06 面试追问与回答​

Q1:Load Average的三个数字分别代表什么?​

分别代表系统最近1分钟、5分钟和15分钟的平均负载。

Linux计算负载时,会统计正在运行、等待CPU运行以及处于不可中断睡眠状态的任务。

第一个数字反映近期变化,第二个看短期趋势,第三个看较长时间的负载情况。

Q2:为什么CPU使用率很低,Load却很高?​

因为Linux的Load不仅统计正在使用CPU的任务,还会把D状态任务算进去。

比如大量进程正在等待磁盘IO或者NFS网络存储响应,这些进程虽然不占用CPU,但仍然会被计入系统负载。

所以排查高Load、低CPU的问题时,我会重点检查是否存在大量D状态进程。

Q3:Linux进程的R状态和D状态有什么区别?​

R表示进程正在运行,或者已经准备好运行,正在等待CPU调度。

D表示进程处于不可中断睡眠状态,通常是在等待磁盘IO、网络存储等内核操作完成。

两种状态都会被Linux计入系统负载。

Q4:vmstat中的r、b、wa分别是什么意思?​

r表示正在运行或者等待CPU的任务数量。

b表示等待IO完成的阻塞任务数量。

wa表示CPU处于IO等待状态的时间比例。

排查时,我会结合这三个指标判断CPU排队和IO等待情况,再通过ps查看具体进程状态。

Q5:D状态进程能直接用kill -9杀掉吗?​

要看进程卡在什么内核操作上。

如果进程一直在等待底层IO,终止信号可能需要等内核操作恢复后才能生效。

生产环境中,我会先通过WCHAN查看进程的内核等待位置,找到对应的磁盘、存储或者网络问题。

恢复底层服务后,再检查进程是否正常退出。


07 Linux高Load只读检查脚本​

脚本只读取系统负载、任务状态、NFS挂载和磁盘IO信息,不会添加防火墙规则,也不会制造故障。

保存为check_high_load.sh:

#!/usr/bin/env bash

printf '\n===== 系统与Load =====\n'
uptime

printf '\n===== CPU与进程概况 =====\n'
top -bn1 | head -n 5

printf '\n===== vmstat(每秒一次,共3次) =====\n'
vmstat 1 3

printf '\n===== D状态任务 =====\n'
ps -eo pid,stat,wchan:24,comm | awk 'NR==1 || $2 ~ /^D/'

printf '\n===== D状态任务数量 =====\n'
ps -eo stat= | awk '$1 ~ /^D/ {n++} END {print n+0}'

printf '\n===== NFS挂载点 =====\n'
findmnt -t nfs,nfs4 || true

printf '\n===== NFS挂载参数 =====\n'
if command -v nfsstat >/dev/null 2>&1; then
nfsstat -m
fi

printf '\n===== 磁盘IO =====\n'
if command -v iostat >/dev/null 2>&1; then
iostat -xz 1 2
fi

执行:

bash check_high_load.sh

这个脚本用于快速收集系统负载、进程状态、NFS挂载和磁盘IO信息,便于定位故障。


08 生产处理要点与技术参考​

1. 线上处理顺序​

  1. 确认现象: top看Load、CPU空闲率和故障发生时间。
  2. 找到任务: ps找D状态任务,记录PID、进程名和WCHAN。
  3. 判断链路: NFS查挂载与网络;磁盘查IO性能、内核日志和存储告警。
  4. 定位根因: 把进程等待位置、服务日志、网络包和存储端状态对起来。
  5. 恢复服务: 修复网络或存储故障,观察阻塞进程退出。
  6. 复查指标: 确认业务请求恢复,CPU、D状态数量和Load逐步回落。

2. 本次实验的故障证据链​

  1. top: 1分钟Load为16.67,CPU空闲率为91%。
  2. vmstat 1: r=0、b=0,CPU基本空闲;继续检查进程状态。
  3. ps: 查到21个D状态任务,等待位置为rpc_wait_bit_killable。
  4. findmnt与nfsstat -m: 发现相关进程访问的是NFS共享目录,使用TCP 2049通信。
  5. iptables: 发现发往NFS端口的请求被DROP规则丢弃;移除规则后,读取恢复正常,阻塞进程退出。

3. 故障处理后的验证​

恢复通信后,确认以下事项:

  • NFS挂载目录可以正常读取。
  • 原先处于D状态的测试进程已经退出。
  • 防火墙中没有残留实验DROP规则。
  • Load Average随时间逐步下降,业务访问恢复正常。

4. 技术参考资料​

⚠️ 生产操作前置检查
  • 先确认目标主机、实例、命名空间、挂载点和时间窗口;示例中的主机、IP、文件名、PID、偏移量均为占位符。
  • 先采集并保存现场,再执行会停止服务、删除数据、终止进程、卸载或修改内核参数的命令。涉及生产数据时先确认备份/快照可恢复。
  • 每一步执行后按“预期输出”验证;异常时停止继续操作,保留命令输出和日志,按文中的回滚路径恢复。