跳到主要内容

K8s 单主扩三主:原理、操作与高可用验证

单主集群只有一台控制平面节点。这台机器故障后,API Server、调度器和控制器无法正常提供管理服务,已有业务 Pod 通常可以继续运行,但集群无法正常完成新的调度和管理操作。

本文介绍如何在保留现有集群的情况下,增加两台控制平面节点,扩成三主集群,并使用 kube-vip 提供统一入口。

学习顺序:理解高可用原理 → 规划入口和节点 → 备份并扩容 → 迁移连接 → 验证故障切换。

01 核心原理:单主怎么扩成三主?​

1. 控制平面有哪些组件?​

组件主要作用
kube-apiserver提供 Kubernetes API,接收查询和操作请求
etcd保存集群配置和状态数据
kube-controller-manager运行控制器,推动集群状态符合期望
kube-scheduler为待调度的 Pod 选择工作节点
kube-vip提供和维护控制平面的虚拟 IP

扩容后,每个控制平面节点都运行一套管理组件。三个 API Server 都能处理请求;调度器和控制器分别通过租约选主,各自由选中的实例执行主要工作。

etcd 组成一个三成员集群。三成员需要至少两名成员正常工作才能保持法定多数,因此允许一名成员故障。

2. 为什么要有统一入口?​

单主集群中,客户端可能直接连接原主节点的 API Server。例如:

客户端 → 192.168.0.83:6443 → API Server

增加两个主节点后,如果客户端依然只连接 83,83 故障时,这些客户端仍然无法访问 API。

可以配置一个虚拟 IP(VIP),让客户端连接固定入口:

客户端 → 192.168.0.80:6443 → 当前持有 VIP 的控制平面节点

本例使用 kube-vip 的 ARP 模式:三个控制平面节点参与选主,选中的节点持有 VIP;发生节点故障后,其他节点可以接管 VIP。

本例采用 VIP 漂移,请求通常到达当前持有 VIP 的节点;如果需要把请求同时分发给多个 API Server,需要另外规划负载均衡。

3. 为什么还要修改证书?​

客户端通过 IP 或域名连接 API Server 时,会检查服务端证书中的 SAN 地址列表。

原证书如果只有 83,没有 80,通过 80 访问就可能出现证书地址不匹配。解决方法是重新签发 API Server 证书,在保留原有地址的同时加入 VIP。

02 操作前先确认​

1. 适用场景​

本文实操环境如下:

项目本文环境
集群安装方式kubeadm
Kubernetesv1.28.15
运行时containerd
etcdkubeadm 管理的本地 etcd,与控制平面部署在同一节点
统一入口kube-vip v0.8.0,ARP 模式
配置格式kubeadm.k8s.io/v1beta3
操作账号root

新旧控制平面节点使用同一 Kubernetes 版本。控制平面网卡处于同一二层网络,网络允许 VIP 漂移和 ARP 通告。各节点容器运行时的 cgroup 驱动需要与 kubelet 配置一致。

官方支持范围: Kubernetes 官方不支持把创建时没有配置 controlPlaneEndpoint 的单主 kubeadm 集群直接转换成高可用集群。本文展示的是为已有集群补充入口、证书和配置的实操方案。生产环境应先完成备份与恢复演练,优先采用官方支持的高可用拓扑或制定迁移方案。

Kubernetes 1.28 已结束社区维护。其他版本应先核对该版本的 kubeadm 配置格式、kube-vip 版本和操作方法,再使用本文思路。

2. 规划节点和地址​

角色本文 IP主机名
原控制平面192.168.0.83server-83
工作节点192.168.0.84server-84
工作节点192.168.0.85server-85
新控制平面192.168.0.86server-86
新控制平面192.168.0.87server-87
控制平面 VIP192.168.0.80—

三个控制平面节点的网卡均为 ens33。实际使用时,将文中节点 IP、VIP、主机名、网卡名和版本替换成自己的值;新节点数量及现有工作节点数量可以不同。

提前为 VIP 预留地址,避开 DHCP 地址池和已分配地址。常见端口包括 API Server 的 TCP 6443、etcd 的 TCP 2379/2380、kubelet 的 TCP 10250;CNI 插件还可能需要其他端口。

3. 识别现有集群​

以下命令在原控制平面 83 执行:

kubectl get nodes -o wide
kubectl -n kube-system get cm kubeadm-config -o yaml
kubectl -n kube-system get pods -o wide
kubeadm version -o short

查看 kubeadm-config 中的 etcd 和 controlPlaneEndpoint:

  • etcd 配置为 local,表示 kubeadm 使用本地 etcd。本例按此情况操作。
  • etcd 配置为 external,说明使用外部 etcd,需要按外部 etcd 方案操作。
  • 已经有可用的 controlPlaneEndpoint 时,应核对现有入口及证书,避免重复更换。

检查当前 API Server 证书和原有连接入口:

openssl x509 -in /etc/kubernetes/pki/apiserver.crt -noout -ext subjectAltName
grep -H 'server:' /root/.kube/config /etc/kubernetes/kubelet.conf
kubectl -n kube-system get cm kube-proxy -o jsonpath='{.data.kubeconfig\.conf}' | grep 'server:'

记录已有的 IP、域名和 API 端口。新证书要保留仍在使用的地址,并加入 VIP。本例使用默认端口 6443。

4. 准备新节点​

86、87 需要安装好 containerd、kubelet 和 kubeadm,节点名称唯一,网络与原集群互通。

本例以下命令分别在 86、87 上执行:

hostname
ip -br -4 addr
kubeadm version -o short
kubelet --version
systemctl is-active containerd
swapon --show

本例使用关闭 Swap 的配置:

swapoff -a

同时检查各自的 Swap 挂载配置,避免重启后自动启用。多网卡环境还要核对节点 Internal-IP;必要时为 kubelet 指定正确的节点 IP。

如果机器曾加入其他集群,先确认原集群已经移除该节点,且机器上没有需要保留的工作负载和 etcd 数据。下面的清理命令只在准备重新使用的 86、87 上执行:

kubeadm reset -f --cri-socket unix:///run/containerd/containerd.sock
if [ -d /etc/cni/net.d ]; then
mv /etc/cni/net.d /etc/cni/net.d.before-ha
fi

原控制平面 83 保留现有配置,不能在 83 上执行这段清理命令。新节点加入中途失败时,先检查节点和 etcd 成员状态,再决定如何处理。

5. 准备镜像和代理​

83、86、87 都需要能够拉取 Kubernetes 和 kube-vip 镜像。使用代理时,容器镜像由 containerd 拉取,应给 containerd 服务配置代理;已有镜像也可以提前导入。

后面的示例通过 SSH 将 kube-vip 清单从 83 复制到 86、87。83 需要能以 root 登录两台新节点;也可以通过其他方式安全复制清单,再到各节点执行安装命令。

下面是 containerd 的代理配置示例,地址、网段和 DNS 后缀换成自己的:

[Service]
Environment="HTTP_PROXY=http://192.168.0.101:1008"
Environment="HTTPS_PROXY=http://192.168.0.101:1008"
Environment="NO_PROXY=localhost,127.0.0.1,::1,192.168.0.0/24,10.244.0.0/16,10.96.0.0/12,.svc,.cluster.local"

将内容保存到对应节点的 /etc/systemd/system/containerd.service.d/90-proxy.conf,再执行:

systemctl daemon-reload
systemctl restart containerd
systemctl show containerd -p Environment --no-pager

重启运行时要安排维护窗口。NO_PROXY 应覆盖节点网段、Pod 网段、Service 网段和集群域名,以上网段是示例。

在 83、86、87 各自准备 kube-vip 镜像:

crictl --timeout=60s \
--runtime-endpoint unix:///run/containerd/containerd.sock \
--image-endpoint unix:///run/containerd/containerd.sock \
pull ghcr.io/kube-vip/kube-vip:v0.8.0

在 86、87 准备控制平面镜像:

kubeadm config images pull \
--kubernetes-version v1.28.15 \
--cri-socket unix:///run/containerd/containerd.sock

如果原集群使用自建镜像仓库,按原集群的 imageRepository 和对应版本准备镜像。

03 实机操作:从一主扩成三主​

1. 备份集群配置和 etcd​

在 83 创建备份目录。目录已存在时先检查,避免覆盖旧备份:

mkdir -m 700 /root/k8s-ha-backup
cp -a /etc/kubernetes /root/k8s-ha-backup/
kubectl -n kube-system get cm kubeadm-config -o json \
> /root/k8s-ha-backup/kubeadm-config.json
cp -a /root/.kube/config /root/k8s-ha-backup/root-kubeconfig

本例 etcd 静态 Pod 叫 etcd-server-83,数据目录是 /var/lib/etcd。在 83 为 etcd 创建快照:

kubectl -n kube-system exec etcd-server-83 -- \
etcdctl \
--endpoints=https://127.0.0.1:2379 \
--cacert=/etc/kubernetes/pki/etcd/ca.crt \
--cert=/etc/kubernetes/pki/etcd/healthcheck-client.crt \
--key=/etc/kubernetes/pki/etcd/healthcheck-client.key \
snapshot save /var/lib/etcd/pre-ha-snapshot.db

install -m 600 /var/lib/etcd/pre-ha-snapshot.db \
/root/k8s-ha-backup/etcd-snapshot.db

将快照和配置备份复制到独立位置,并完成恢复演练。备份包含证书私钥,需要限制访问权限。虚拟机实验也可以在关机后为所有节点创建同一时点的快照。

扩容期间 API Server 需要重启,管理请求会短暂中断,应选择维护窗口。

2. 在原主节点启动 kube-vip​

在 83 生成 kube-vip 静态 Pod 清单。修改命令中的网卡和 VIP:

ctr -n k8s.io run --rm --net-host \
ghcr.io/kube-vip/kube-vip:v0.8.0 vip-manifest \
/kube-vip manifest pod \
--interface ens33 \
--address 192.168.0.80 \
--controlplane \
--arp \
--leaderElection \
> /root/k8s-ha-backup/kube-vip.yaml

先生成到备份目录,再放入静态 Pod 目录:

sed -i 's/imagePullPolicy: Always/imagePullPolicy: IfNotPresent/' \
/root/k8s-ha-backup/kube-vip.yaml

install -m 600 /root/k8s-ha-backup/kube-vip.yaml \
/etc/kubernetes/kube-vip.next.yaml

mv /etc/kubernetes/kube-vip.next.yaml \
/etc/kubernetes/manifests/kube-vip.yaml

kubelet 会读取清单并启动 kube-vip。检查 Pod 和网卡:

kubectl -n kube-system get pods -o wide | grep kube-vip
ip -4 addr show ens33

看到 kube-vip 运行,且网卡上出现 192.168.0.80/32 后继续。此时 VIP 已经挂载,API Server 证书还需要加入 VIP。

3. 生成包含 VIP 的 API Server 证书​

本例需要在 83 安装 Python 3 和 PyYAML。先检查:

python3 -c 'import yaml; print(yaml.__version__)'

Ubuntu 22.04 缺少 PyYAML 时,可以在 83 安装:

apt-get update && apt-get install -y python3-yaml

下面的命令读取备份的 kubeadm 配置,保留已有集群参数和证书 SAN,再增加 VIP,生成用于证书签发和配置上传的两个文件。使用前,把代码中的 83、80、主机名和版本换成实际值。

mkdir -m 700 /root/k8s-ha-backup/new-pki
cp -a /etc/kubernetes/pki/ca.crt /etc/kubernetes/pki/ca.key \
/root/k8s-ha-backup/new-pki/

python3 <<'PY'
import copy
import json
import re
import subprocess
from pathlib import Path
import yaml

work = Path('/root/k8s-ha-backup')
obj = json.loads((work / 'kubeadm-config.json').read_text())
cfg = yaml.safe_load(obj['data']['ClusterConfiguration'])

if cfg['apiVersion'] != 'kubeadm.k8s.io/v1beta3':
raise SystemExit('配置版本与本文不同,请按当前 kubeadm 版本调整。')

cert_info = subprocess.check_output(
['openssl', 'x509', '-in', '/etc/kubernetes/pki/apiserver.crt',
'-noout', '-ext', 'subjectAltName'],
text=True,
)
old_sans = set()
for dns_name, ip_addr in re.findall(
r'DNS:([^,\s]+)|IP Address:([^,\s]+)', cert_info
):
old_sans.add(dns_name or ip_addr)

api = cfg.setdefault('apiServer', {})
old_sans.update(api.get('certSANs') or [])
old_sans.add('192.168.0.80')
api['certSANs'] = sorted(old_sans)
cfg['controlPlaneEndpoint'] = '192.168.0.80:6443'
cfg['kubernetesVersion'] = 'v1.28.15'

(work / 'kubeadm-ha.yaml').write_text(
yaml.safe_dump(cfg, sort_keys=False)
)

cert_cfg = copy.deepcopy(cfg)
cert_cfg['certificatesDir'] = str(work / 'new-pki')
init_cfg = {
'apiVersion': cfg['apiVersion'],
'kind': 'InitConfiguration',
'localAPIEndpoint': {
'advertiseAddress': '192.168.0.83',
'bindPort': 6443,
},
'nodeRegistration': {'name': 'server-83'},
}
(work / 'cert-config.yaml').write_text(
yaml.safe_dump_all([init_cfg, cert_cfg], sort_keys=False)
)
PY

签发并检查新证书:

kubeadm init phase certs apiserver \
--config /root/k8s-ha-backup/cert-config.yaml

openssl x509 -in /root/k8s-ha-backup/new-pki/apiserver.crt \
-noout -ext subjectAltName

openssl verify -CAfile /etc/kubernetes/pki/ca.crt \
-verify_ip 192.168.0.80 \
/root/k8s-ha-backup/new-pki/apiserver.crt

核对 SAN 中包含 VIP、原 API 地址和仍在使用的域名,验证输出为 OK 后再替换。新证书先在独立目录生成,避免覆盖原证书;原文件已经保存在备份目录。

4. 替换证书并更新集群入口​

在 83 安装新证书,再重启 API Server 容器:

api_id=$(crictl --timeout=60s \
--runtime-endpoint unix:///run/containerd/containerd.sock \
ps --name kube-apiserver -q)

printf '%s\n' "$api_id"

确认只输出一个正在运行的 API Server 容器 ID,再执行:

install -m 644 /root/k8s-ha-backup/new-pki/apiserver.crt \
/etc/kubernetes/pki/apiserver.crt

install -m 600 /root/k8s-ha-backup/new-pki/apiserver.key \
/etc/kubernetes/pki/apiserver.key

crictl --timeout=60s \
--runtime-endpoint unix:///run/containerd/containerd.sock \
stop --timeout 10 "$api_id"

kubelet 会根据静态 Pod 清单重新启动 API Server。等待服务恢复后,通过 VIP 查询:

kubectl --kubeconfig=/etc/kubernetes/admin.conf \
--server=https://192.168.0.80:6443 \
get nodes

能正常返回节点列表,说明本次通过 VIP 的连接和证书校验通过。

将新的统一入口写入 kubeadm-config:

kubeadm init phase upload-config kubeadm \
--config /root/k8s-ha-backup/kubeadm-ha.yaml

kubectl -n kube-system get cm kubeadm-config -o yaml

确认其中的 controlPlaneEndpoint 为 192.168.0.80:6443,apiServer.certSANs 包含 VIP。

5. 生成加入凭证​

在 83 上传控制平面证书:

kubeadm init phase upload-certs --upload-certs \
--config /root/k8s-ha-backup/kubeadm-ha.yaml

记下输出的 certificate key。接着生成加入令牌和 CA 公钥指纹:

kubeadm token create --print-join-command

记下输出中的 token 和以 sha256: 开头的指纹。输出里的地址可能还是旧主节点 83,下面加入时使用统一入口 80。

上传的 kubeadm-certs Secret 默认约两小时后过期;令牌也有有效期。过期后在 83 重新执行上面的命令,使用新输出的凭证。加入凭证和证书密钥应按敏感信息保管。

6. 依次加入 86、87​

下面使用干净节点的标准加入流程。本次演示环境在加入前预先生成了各节点的 kubelet 身份,用来处理旧配置遗留问题;实际操作先使用下面的标准流程,出现故障时按第 05 节排查。

先在 86 执行,按提示输入刚才得到的 token、CA 指纹和 certificate key:

read -r -p 'Token: ' JOIN_TOKEN
read -r -p 'CA 指纹(含 sha256:): ' CA_HASH
read -r -s -p 'Certificate key: ' CERT_KEY
printf '\n'

加入控制平面,注意这里的 advertise address 是 86 自己的 IP:

kubeadm join 192.168.0.80:6443 \
--token "$JOIN_TOKEN" \
--discovery-token-ca-cert-hash "$CA_HASH" \
--control-plane \
--certificate-key "$CERT_KEY" \
--apiserver-advertise-address 192.168.0.86 \
--cri-socket unix:///run/containerd/containerd.sock

加入成功后,在 83 部署 kube-vip 到 86:

scp /root/k8s-ha-backup/kube-vip.yaml \
[email protected]:/etc/kubernetes/kube-vip.next.yaml

'chmod 600 /etc/kubernetes/kube-vip.next.yaml && mv /etc/kubernetes/kube-vip.next.yaml /etc/kubernetes/manifests/kube-vip.yaml'

从 83 检查 86:

kubectl get nodes -o wide
kubectl -n kube-system get pods -o wide --field-selector spec.nodeName=server-86

确认 86 的节点状态和控制平面组件正常,再在 87 重复输入凭证,执行同样的 join 命令,将 advertise address 改成 192.168.0.87。

然后在 83 部署 kube-vip 到 87:

scp /root/k8s-ha-backup/kube-vip.yaml \
[email protected]:/etc/kubernetes/kube-vip.next.yaml

'chmod 600 /etc/kubernetes/kube-vip.next.yaml && mv /etc/kubernetes/kube-vip.next.yaml /etc/kubernetes/manifests/kube-vip.yaml'

86 和 87 依次加入,分别等待成功。etcd 从一个成员扩到两个成员期间,两名成员都要在线才能维持法定多数,因此这一阶段不要关闭任一控制平面节点。

本节使用标准 kubeadm join。节点如果有旧配置或加入失败,先看第 05 节的排查方法;不要对已经加入的控制平面节点直接执行 reset。

7. 迁移原有客户端入口​

kubeadm-config 的 controlPlaneEndpoint 更新后,已有客户端配置不会自动全部修改。下面处理本例中的原有 kubelet、83 上的 kubectl 和 kube-proxy。

在 83 备份并修改 kubectl 和 kubelet 配置:

cp -a /root/.kube/config /root/k8s-ha-backup/kubectl.before-ha
cp -a /etc/kubernetes/kubelet.conf /root/k8s-ha-backup/kubelet.before-ha

sed -i 's#https://192\.168\.0\.83:6443#https://192.168.0.80:6443#g' \
/root/.kube/config /etc/kubernetes/kubelet.conf

systemctl restart kubelet

分别在 84、85 上备份并修改 kubelet 配置:

cp -a /etc/kubernetes/kubelet.conf /root/kubelet.conf.before-ha

sed -i 's#https://192\.168\.0\.83:6443#https://192.168.0.80:6443#g' \
/etc/kubernetes/kubelet.conf

systemctl restart kubelet

以上替换只覆盖本例中的旧地址。实际环境要先检查每台机器的 kubelet 配置和其他 kubeconfig;其他管理机、自动化工具或集成系统若直接连接旧地址,也需要逐个迁移。调度器、控制器连接本机 API Server 的配置按原样保留。

在 83 备份并修改 kube-proxy 配置:

kubectl -n kube-system get cm kube-proxy -o json \
> /root/k8s-ha-backup/kube-proxy.before-ha.json

python3 <<'PY'
import json
from pathlib import Path

work = Path('/root/k8s-ha-backup')
obj = json.loads((work / 'kube-proxy.before-ha.json').read_text())
config = obj['data']['kubeconfig.conf']
old = 'https://192.168.0.83:6443'
new = 'https://192.168.0.80:6443'

if old not in config:
raise SystemExit('未找到预期的旧入口,请先检查 kube-proxy 配置。')

patch = {'data': {'kubeconfig.conf': config.replace(old, new)}}
(work / 'kube-proxy.patch.json').write_text(json.dumps(patch))
PY

kubectl -n kube-system patch cm kube-proxy --type=merge \
--patch-file /root/k8s-ha-backup/kube-proxy.patch.json

kubectl -n kube-system rollout restart daemonset kube-proxy
kubectl -n kube-system rollout status daemonset kube-proxy --timeout=180s

等待 kube-proxy 全部更新完成。迁移后可再次查看各节点的 kubelet 配置和 kube-proxy ConfigMap,确认使用 VIP。

04 验证集群与故障切换​

1. 检查节点和控制平面组件​

在 83 执行:

kubectl get nodes -o wide
kubectl -n kube-system get pods -o wide | grep -E '(^NAME|^(etcd|kube-apiserver|kube-controller-manager|kube-scheduler|kube-vip)-)'

预期结果:

  • 83、86、87 是 control-plane,五台节点都是 Ready。
  • 三台控制平面上的 etcd、API Server、控制器、调度器和 kube-vip 都正常运行。
  • kube-vip 的 VIP 可以在三台控制平面节点上使用。

2. 检查 etcd 成员​

kubectl -n kube-system exec etcd-server-83 -- etcdctl \
--endpoints=https://127.0.0.1:2379 \
--cacert=/etc/kubernetes/pki/etcd/ca.crt \
--cert=/etc/kubernetes/pki/etcd/healthcheck-client.crt \
--key=/etc/kubernetes/pki/etcd/healthcheck-client.key \
endpoint health --cluster

示例结果:

https://192.168.0.83:2379 is healthy
https://192.168.0.86:2379 is healthy
https://192.168.0.87:2379 is healthy

三个成员都显示 healthy,表示当前各成员可以正常处理健康检查。节点和组件状态检查完成后,继续做实际故障切换测试。

3. 验证 VIP 故障切换​

选择实验或维护窗口执行。准备好虚拟机控制台,确保故障节点可以重新启动。操作前确认三个 etcd 成员都健康。

先在三台控制平面节点分别查看:

ip -4 addr show ens33

找到当前持有 192.168.0.80 的节点。通过虚拟机管理平台关闭该节点,等待 VIP 漂移,然后在另一台仍运行的控制平面节点查看:

ip -4 addr show ens33
kubectl --kubeconfig=/etc/kubernetes/admin.conf \
--server=https://192.168.0.80:6443 \
get nodes

确认 VIP 已出现在存活节点上,通过 80 仍能访问 API;恢复关闭的节点,等待它重新 Ready,再执行一次 etcd 健康检查。

每次只关闭一台控制平面节点。三成员 etcd 至少需要两台正常运行。

ARP 通告、网络设备和 API 启动时间会影响切换时间;如果 VIP 没有漂移,检查 kube-vip 日志、节点间网络和虚拟交换机设置。节点存活但本机 API Server 单独故障时,也应单独测试客户端的实际访问表现。

05 常见问题与处理​

1. 通过 VIP 访问时报 x509 地址不匹配​

查看 API Server 证书:

openssl x509 -in /etc/kubernetes/pki/apiserver.crt -noout -ext subjectAltName

确认 SAN 包含访问使用的 VIP 或域名,并确认 API Server 已加载新证书。原有访问地址仍需使用时,也要保留在新证书中。

2. join 时提示连接超时或证书下载失败​

检查 VIP、6443 端口、containerd 镜像拉取、节点时间,以及 token、CA 指纹和 certificate key 是否正确。certificate key 对应的共享证书默认约两小时有效,过期后重新上传并使用新密钥。

3. kubelet 启动失败或 TLS Bootstrap 超时​

在出问题的新节点查看:

systemctl status kubelet --no-pager
journalctl -u kubelet -n 100 --no-pager

根据日志检查 Swap、容器运行时、cgroup 驱动、API 连通性和节点凭证。出现 kubelet.conf 或客户端证书缺失时,先核对 kubeadm join 的完整报错和节点当前状态,再按对应故障修复。

4. join 中途失败,可以直接重试或 reset 吗?​

先在现有控制平面检查节点和 etcd:

kubectl get nodes -o wide
kubectl -n kube-system exec etcd-server-83 -- etcdctl \
--endpoints=https://127.0.0.1:2379 \
--cacert=/etc/kubernetes/pki/etcd/ca.crt \
--cert=/etc/kubernetes/pki/etcd/healthcheck-client.crt \
--key=/etc/kubernetes/pki/etcd/healthcheck-client.key \
member list -w table

确认失败节点是否已经注册、etcd 成员是否已经添加,再确定恢复步骤。保留日志和备份;不要在原控制平面执行 reset,也不要反复添加同一个 etcd 成员。

5. 节点全部 Ready,为什么还要测试切换?​

Ready 和 etcd healthy 说明检查时节点与成员工作正常。实际关闭一个 VIP 持有节点,可以验证 VIP 漂移、客户端重连和剩余 etcd 成员是否符合预期。

06 常用命令速查​

想查看什么命令
节点和 IPkubectl get nodes -o wide
控制平面组件kubectl -n kube-system get pods -o wide
kubeadm 集群配置kubectl -n kube-system get cm kubeadm-config -o yaml
API 证书地址openssl x509 -in /etc/kubernetes/pki/apiserver.crt -noout -ext subjectAltName
指定节点地址ip -br -4 addr
kubelet 日志journalctl -u kubelet -n 100 --no-pager
容器运行状态crictl --runtime-endpoint unix:///run/containerd/containerd.sock ps -a
kube-proxy 更新状态kubectl -n kube-system rollout status daemonset kube-proxy

07 面试回答与追问​

面试题:运行中的单主 K8s 集群,怎么扩成三主高可用?​

先确认集群的安装方式、etcd 拓扑、证书和现有 API 入口,做好 etcd 和配置备份。

然后规划统一访问入口,为 API Server 证书加入入口地址;准备两台控制平面节点,通过 kubeadm 依次加入,并将本地 etcd 扩成三个成员。

接着迁移原有客户端的 API 连接,检查节点、管理组件和 etcd 健康状态。最后关闭一台控制平面节点,验证入口切换和集群管理能力。

补充说明:原集群没有配置 controlPlaneEndpoint 时,直接转换不在 kubeadm 官方支持范围内;生产操作需要先制定并验证迁移方案。

Q1:为什么一般使用三个 etcd 成员?​

三个成员需要两票形成法定多数,一台故障后仍然可以工作。加入第二台成员后,两个成员都在线才有多数,因此应尽快在确认健康后加入第三台。

Q2:三个 API Server、调度器和控制器都在工作吗?​

三个 API Server 都可以处理请求。调度器和控制器分别选主,各自由一个领导实例执行主要工作,其他实例参与选主和接管。

Q3:VIP 会自动把请求分发给三个 API Server 吗?​

不会。VIP 提供固定的访问地址。只做 VIP 漂移时,谁持有 VIP,连接就到谁。配置了负载均衡,不同连接才会按策略分到不同的 API Server。

Q4:API Server 和 etcd 分别用什么地址通信?​

看 API Server 的 --etcd-servers 配置。kubeadm 部署本地 etcd 时,API Server 通常连 https://127.0.0.1:2379。使用外部 etcd 时,就连配置的外部地址。etcd 成员之间通过各自公布的 peer 地址同步数据,默认端口是 2380。

Q5:为什么修改了 kubeadm-config,还要修改 kubelet 和 kube-proxy?​

kubeadm-config 记录 kubeadm 使用的集群配置;原有客户端有各自的 kubeconfig。更新 ConfigMap 后,需要检查并迁移仍指向旧地址的客户端配置。

Q6:控制平面故障后,业务 Pod 会怎样?​

已经运行的 Pod 通常可以继续运行;控制平面主要负责管理和调度。业务是否持续可用,还取决于工作节点、网络、存储以及应用本身的状态。

08 集群检查脚本​

下面的脚本查看节点、控制平面组件和 etcd 成员健康。脚本只读取状态,通过第一个参数指定一个健康的 etcd 静态 Pod 名称。

在任意有集群管理权限和 kubectl 的机器上创建:

cat > check-k8s-ha.sh <<'EOF'
#!/usr/bin/env bash
set -euo pipefail

if [ "$#" -ne 1 ]; then
echo "用法:bash $0 etcd-Pod名称" >&2
exit 1
fi

etcd_pod=$1

echo '节点状态:'
kubectl get nodes -o wide

echo
echo '控制平面组件:'
kubectl -n kube-system get pods -o wide | \
grep -E '(^NAME|^(etcd|kube-apiserver|kube-controller-manager|kube-scheduler|kube-vip)-)'

echo
echo 'etcd 成员健康状态:'
kubectl -n kube-system exec "$etcd_pod" -- etcdctl \
--endpoints=https://127.0.0.1:2379 \
--cacert=/etc/kubernetes/pki/etcd/ca.crt \
--cert=/etc/kubernetes/pki/etcd/healthcheck-client.crt \
--key=/etc/kubernetes/pki/etcd/healthcheck-client.key \
endpoint health --cluster
EOF

将 Pod 名称换成自己的:

bash check-k8s-ha.sh etcd-server-83

脚本适用于本文的 kubeadm 本地 etcd 路径;如果证书路径、etcd 部署方式或组件名称不同,按实际环境修改。脚本显示检查时的状态,故障切换按第 04 节单独验证。

09 生产使用要点与技术参考​

  • 提前规划统一入口、地址预留、节点网络和 etcd 备份。
  • 控制平面逐台加入,每加入一台先确认节点和 etcd 正常。
  • 核对所有客户端连接地址,安排维护窗口并验证实际切换。
  • 定期检查证书有效期、etcd 快照和恢复流程。

技术参考: