K8s 单主扩三主:原理、操作与高可用验证
单主集群只有一台控制平面节点。这台机器故障后,API Server、调度器和控制器无法正常提供管理服务,已有业务 Pod 通常可以继续运行,但集群无法正常完成新的调度和管理操作。
本文介绍如何在保留现有集群的情况下,增加两台控制平面节点,扩成三主集群,并使用 kube-vip 提供统一入口。
学习顺序:理解高可用原理 → 规划入口和节点 → 备份并扩容 → 迁移连接 → 验证故障切换。
01 核心原理:单主怎么扩成三主?
1. 控制平面有哪些组件?
| 组件 | 主要作用 |
|---|---|
| kube-apiserver | 提供 Kubernetes API,接收查询和操作请求 |
| etcd | 保存集群配置和状态数据 |
| kube-controller-manager | 运行控制器,推动集群状态符合期望 |
| kube-scheduler | 为待调度的 Pod 选择工作节点 |
| kube-vip | 提供和维护控制平面的虚拟 IP |
扩容后,每个控制平面节点都运行一套管理组件。三个 API Server 都能处理请求;调度器和控制器分别通过租约选主,各自由选中的实例执行主要工作。
etcd 组成一个三成员集群。三成员需要至少两名成员正常工作才能保持法定多数,因此允许一名成员故障。
2. 为什么要有统一入口?
单主集群中,客户端可能直接连接原主节点的 API Server。例如:
客户端 → 192.168.0.83:6443 → API Server
增加两个主节点后,如果客户端依然只连接 83,83 故障时,这些客户端仍然无法访问 API。
可以配置一个虚拟 IP(VIP),让客户端连接固定入口:
客户端 → 192.168.0.80:6443 → 当前持有 VIP 的控制平面节点
本例使用 kube-vip 的 ARP 模式:三个控制平面节点参与选主,选中的节点持有 VIP;发生节点故障后,其他节点可以接管 VIP。
本例采用 VIP 漂移,请求通常到达当前持有 VIP 的节点;如果需要把请求同时分发给多个 API Server,需要另外规划负载均衡。
3. 为什么还要修改证书?
客户端通过 IP 或域名连接 API Server 时,会检查服务端证书中的 SAN 地址列表。
原证书如果只有 83,没有 80,通过 80 访问就可能出现证书地址不匹配。解决方法是重新签发 API Server 证书,在保留原有地址的同时加入 VIP。
02 操作前先确认
1. 适用场景
本文实操环境如下:
| 项目 | 本文环境 |
|---|---|
| 集群安装方式 | kubeadm |
| Kubernetes | v1.28.15 |
| 运行时 | containerd |
| etcd | kubeadm 管理的本地 etcd,与控制平面部署在同一节点 |
| 统一入口 | kube-vip v0.8.0,ARP 模式 |
| 配置格式 | kubeadm.k8s.io/v1beta3 |
| 操作账号 | root |
新旧控制平面节点使用同一 Kubernetes 版本。控制平面网卡处于同一二层网络,网络允许 VIP 漂移和 ARP 通告。各节点容器运行时的 cgroup 驱动需要与 kubelet 配置一致。
官方支持范围: Kubernetes 官方不支持把创建时没有配置 controlPlaneEndpoint 的单主 kubeadm 集群直接转换成高可用集群。本文展示的是为已有集群补充入口、证书和配置的实操方案。生产环境应先完成备份与恢复演练,优先采用官方支持的高可用拓扑或制定迁移方案。
Kubernetes 1.28 已结束社区维护。其他版本应先核对该版本的 kubeadm 配置格式、kube-vip 版本和操作方法,再使用本文思路。
2. 规划节点和地址
| 角色 | 本文 IP | 主机名 |
|---|---|---|
| 原控制平面 | 192.168.0.83 | server-83 |
| 工作节点 | 192.168.0.84 | server-84 |
| 工作节点 | 192.168.0.85 | server-85 |
| 新控制平面 | 192.168.0.86 | server-86 |
| 新控制平面 | 192.168.0.87 | server-87 |
| 控制平面 VIP | 192.168.0.80 | — |
三个控制平面节点的网卡均为 ens33。实际使用时,将文中节点 IP、VIP、主机名、网卡名和版本替换成自己的值;新节点数量及现有工作节点数量可以不同。
提前为 VIP 预留地址,避开 DHCP 地址池和已分配地址。常见端口包括 API Server 的 TCP 6443、etcd 的 TCP 2379/2380、kubelet 的 TCP 10250;CNI 插件还可能需要其他端口。
3. 识别现有集群
以下命令在原控制平面 83 执行:
kubectl get nodes -o wide
kubectl -n kube-system get cm kubeadm-config -o yaml
kubectl -n kube-system get pods -o wide
kubeadm version -o short
查看 kubeadm-config 中的 etcd 和 controlPlaneEndpoint:
- etcd 配置为 local,表示 kubeadm 使用本地 etcd。本例按此情况操作。
- etcd 配置为 external,说明使用外部 etcd,需要按外部 etcd 方案操作。
- 已经有可用的 controlPlaneEndpoint 时,应核对现有入口及证书,避免重复更换。
检查当前 API Server 证书和原有连接入口:
openssl x509 -in /etc/kubernetes/pki/apiserver.crt -noout -ext subjectAltName
grep -H 'server:' /root/.kube/config /etc/kubernetes/kubelet.conf
kubectl -n kube-system get cm kube-proxy -o jsonpath='{.data.kubeconfig\.conf}' | grep 'server:'
记录已有的 IP、域名和 API 端口。新证书要保留仍在使用的地址,并加入 VIP。本例使用默认端口 6443。
4. 准备新节点
86、87 需要安装好 containerd、kubelet 和 kubeadm,节点名称唯一,网络与原集群互通。
本例以下命令分别在 86、87 上执行:
hostname
ip -br -4 addr
kubeadm version -o short
kubelet --version
systemctl is-active containerd
swapon --show
本例使用关闭 Swap 的配置:
swapoff -a
同时检查各自的 Swap 挂载配置,避免重启后自动启用。多网卡环境还要核对节点 Internal-IP;必要时为 kubelet 指定正确的节点 IP。
如果机器曾加入其他集群,先确认原集群已经移除该节点,且机器上没有需要保留的工作负载和 etcd 数据。下面的清理命令只在准备重新使用的 86、87 上执行:
kubeadm reset -f --cri-socket unix:///run/containerd/containerd.sock
if [ -d /etc/cni/net.d ]; then
mv /etc/cni/net.d /etc/cni/net.d.before-ha
fi
原控制平面 83 保留现有配置,不能在 83 上执行这段清理命令。新节点加入中途失败时,先检查节点和 etcd 成员状态,再决定如何处理。
5. 准备镜像和代理
83、86、87 都需要能够拉取 Kubernetes 和 kube-vip 镜像。使用代理时,容器镜像由 containerd 拉取,应给 containerd 服务配置代理;已有镜像也可以提前导入。
后面的示例通过 SSH 将 kube-vip 清单从 83 复制到 86、87。83 需要能以 root 登录两台新节点;也可以通过其他方式安全复制清单,再到各节点执行安装命令。
下面是 containerd 的代理配置示例,地址、网段和 DNS 后缀换成自己的:
[Service]
Environment="HTTP_PROXY=http://192.168.0.101:1008"
Environment="HTTPS_PROXY=http://192.168.0.101:1008"
Environment="NO_PROXY=localhost,127.0.0.1,::1,192.168.0.0/24,10.244.0.0/16,10.96.0.0/12,.svc,.cluster.local"
将内容保存到对应节点的 /etc/systemd/system/containerd.service.d/90-proxy.conf,再执行:
systemctl daemon-reload
systemctl restart containerd
systemctl show containerd -p Environment --no-pager
重启运行时要安排维护窗口。NO_PROXY 应覆盖节点网段、Pod 网段、Service 网段和集群域名,以上网段是示例。
在 83、86、87 各自准备 kube-vip 镜像:
crictl --timeout=60s \
--runtime-endpoint unix:///run/containerd/containerd.sock \
--image-endpoint unix:///run/containerd/containerd.sock \
pull ghcr.io/kube-vip/kube-vip:v0.8.0
在 86、87 准备控制平面镜像:
kubeadm config images pull \
--kubernetes-version v1.28.15 \
--cri-socket unix:///run/containerd/containerd.sock
如果原集群使用自建镜像仓库,按原集群的 imageRepository 和对应版本准备镜像。
03 实机操作:从一主扩成三主
1. 备份集群配置和 etcd
在 83 创建备份目录。目录已存在时先检查,避免覆盖旧备份:
mkdir -m 700 /root/k8s-ha-backup
cp -a /etc/kubernetes /root/k8s-ha-backup/
kubectl -n kube-system get cm kubeadm-config -o json \
> /root/k8s-ha-backup/kubeadm-config.json
cp -a /root/.kube/config /root/k8s-ha-backup/root-kubeconfig
本例 etcd 静态 Pod 叫 etcd-server-83,数据目录是 /var/lib/etcd。在 83 为 etcd 创建快照:
kubectl -n kube-system exec etcd-server-83 -- \
etcdctl \
--endpoints=https://127.0.0.1:2379 \
--cacert=/etc/kubernetes/pki/etcd/ca.crt \
--cert=/etc/kubernetes/pki/etcd/healthcheck-client.crt \
--key=/etc/kubernetes/pki/etcd/healthcheck-client.key \
snapshot save /var/lib/etcd/pre-ha-snapshot.db
install -m 600 /var/lib/etcd/pre-ha-snapshot.db \
/root/k8s-ha-backup/etcd-snapshot.db
将快照和配置备份复制到独立位置,并完成恢复演练。备份包含证书私钥,需要限制访问权限。虚拟机实验也可以在关机后为所有节点创建同一时点的快照。
扩容期间 API Server 需要重启,管理请求会短暂中断,应选择维护窗口。
2. 在原主节点启动 kube-vip
在 83 生成 kube-vip 静态 Pod 清单。修改命令中的网卡和 VIP:
ctr -n k8s.io run --rm --net-host \
ghcr.io/kube-vip/kube-vip:v0.8.0 vip-manifest \
/kube-vip manifest pod \
--interface ens33 \
--address 192.168.0.80 \
--controlplane \
--arp \
--leaderElection \
> /root/k8s-ha-backup/kube-vip.yaml
先生成到备份目录,再放入静态 Pod 目录:
sed -i 's/imagePullPolicy: Always/imagePullPolicy: IfNotPresent/' \
/root/k8s-ha-backup/kube-vip.yaml
install -m 600 /root/k8s-ha-backup/kube-vip.yaml \
/etc/kubernetes/kube-vip.next.yaml
mv /etc/kubernetes/kube-vip.next.yaml \
/etc/kubernetes/manifests/kube-vip.yaml
kubelet 会读取清单并启动 kube-vip。检查 Pod 和网卡:
kubectl -n kube-system get pods -o wide | grep kube-vip
ip -4 addr show ens33
看到 kube-vip 运行,且网卡上出现 192.168.0.80/32 后继续。此时 VIP 已经挂载,API Server 证书还需要加入 VIP。
3. 生成包含 VIP 的 API Server 证书
本例需要在 83 安装 Python 3 和 PyYAML。先检查:
python3 -c 'import yaml; print(yaml.__version__)'
Ubuntu 22.04 缺少 PyYAML 时,可以在 83 安装:
apt-get update && apt-get install -y python3-yaml
下面的命令读取备份的 kubeadm 配置,保留已有集群参数和证书 SAN,再增加 VIP,生成用于证书签发和配置上传的两个文件。使用前,把代码中的 83、80、主机名和版本换成实际值。
mkdir -m 700 /root/k8s-ha-backup/new-pki
cp -a /etc/kubernetes/pki/ca.crt /etc/kubernetes/pki/ca.key \
/root/k8s-ha-backup/new-pki/
python3 <<'PY'
import copy
import json
import re
import subprocess
from pathlib import Path
import yaml
work = Path('/root/k8s-ha-backup')
obj = json.loads((work / 'kubeadm-config.json').read_text())
cfg = yaml.safe_load(obj['data']['ClusterConfiguration'])
if cfg['apiVersion'] != 'kubeadm.k8s.io/v1beta3':
raise SystemExit('配置版本与本文不同,请按当前 kubeadm 版本调整。')
cert_info = subprocess.check_output(
['openssl', 'x509', '-in', '/etc/kubernetes/pki/apiserver.crt',
'-noout', '-ext', 'subjectAltName'],
text=True,
)
old_sans = set()
for dns_name, ip_addr in re.findall(
r'DNS:([^,\s]+)|IP Address:([^,\s]+)', cert_info
):
old_sans.add(dns_name or ip_addr)
api = cfg.setdefault('apiServer', {})
old_sans.update(api.get('certSANs') or [])
old_sans.add('192.168.0.80')
api['certSANs'] = sorted(old_sans)
cfg['controlPlaneEndpoint'] = '192.168.0.80:6443'
cfg['kubernetesVersion'] = 'v1.28.15'
(work / 'kubeadm-ha.yaml').write_text(
yaml.safe_dump(cfg, sort_keys=False)
)
cert_cfg = copy.deepcopy(cfg)
cert_cfg['certificatesDir'] = str(work / 'new-pki')
init_cfg = {
'apiVersion': cfg['apiVersion'],
'kind': 'InitConfiguration',
'localAPIEndpoint': {
'advertiseAddress': '192.168.0.83',
'bindPort': 6443,
},
'nodeRegistration': {'name': 'server-83'},
}
(work / 'cert-config.yaml').write_text(
yaml.safe_dump_all([init_cfg, cert_cfg], sort_keys=False)
)
PY
签发并检查新证书:
kubeadm init phase certs apiserver \
--config /root/k8s-ha-backup/cert-config.yaml
openssl x509 -in /root/k8s-ha-backup/new-pki/apiserver.crt \
-noout -ext subjectAltName
openssl verify -CAfile /etc/kubernetes/pki/ca.crt \
-verify_ip 192.168.0.80 \
/root/k8s-ha-backup/new-pki/apiserver.crt
核对 SAN 中包含 VIP、原 API 地址和仍在使用的域名,验证输出为 OK 后再替换。新证书先在独立目录生成,避免覆盖原证书;原文件已经保存在备份目录。
4. 替换证书并更新集群入口
在 83 安装新证书,再重启 API Server 容器:
api_id=$(crictl --timeout=60s \
--runtime-endpoint unix:///run/containerd/containerd.sock \
ps --name kube-apiserver -q)
printf '%s\n' "$api_id"
确认只输出一个正在运行的 API Server 容器 ID,再执行:
install -m 644 /root/k8s-ha-backup/new-pki/apiserver.crt \
/etc/kubernetes/pki/apiserver.crt
install -m 600 /root/k8s-ha-backup/new-pki/apiserver.key \
/etc/kubernetes/pki/apiserver.key
crictl --timeout=60s \
--runtime-endpoint unix:///run/containerd/containerd.sock \
stop --timeout 10 "$api_id"
kubelet 会根据静态 Pod 清单重新启动 API Server。等待服务恢复后,通过 VIP 查询:
kubectl --kubeconfig=/etc/kubernetes/admin.conf \
--server=https://192.168.0.80:6443 \
get nodes
能正常返回节点列表,说明本次通过 VIP 的连接和证书校验通过。
将新的统一入口写入 kubeadm-config:
kubeadm init phase upload-config kubeadm \
--config /root/k8s-ha-backup/kubeadm-ha.yaml
kubectl -n kube-system get cm kubeadm-config -o yaml
确认其中的 controlPlaneEndpoint 为 192.168.0.80:6443,apiServer.certSANs 包含 VIP。
5. 生成加入凭证
在 83 上传控制平面证书:
kubeadm init phase upload-certs --upload-certs \
--config /root/k8s-ha-backup/kubeadm-ha.yaml
记下输出的 certificate key。接着生成加入令牌和 CA 公钥指纹:
kubeadm token create --print-join-command
记下输出中的 token 和以 sha256: 开头的指纹。输出里的地址可能还是旧主节点 83,下面加入时使用统一入口 80。
上传的 kubeadm-certs Secret 默认约两小时后过期;令牌也有有效期。过期后在 83 重新执行上面的命令,使用新输出的凭证。加入凭证和证书密钥应按敏感信息保管。
6. 依次加入 86、87
下面使用干净节点的标准加入流程。本次演示环境在加入前预先生成了各节点的 kubelet 身份,用来处理旧配置遗留问题;实际操作先使用下面的标准流程,出现故障时按第 05 节排查。
先在 86 执行,按提示输入刚才得到的 token、CA 指纹和 certificate key:
read -r -p 'Token: ' JOIN_TOKEN
read -r -p 'CA 指纹(含 sha256:): ' CA_HASH
read -r -s -p 'Certificate key: ' CERT_KEY
printf '\n'
加入控制平面,注意这里的 advertise address 是 86 自己的 IP:
kubeadm join 192.168.0.80:6443 \
--token "$JOIN_TOKEN" \
--discovery-token-ca-cert-hash "$CA_HASH" \
--control-plane \
--certificate-key "$CERT_KEY" \
--apiserver-advertise-address 192.168.0.86 \
--cri-socket unix:///run/containerd/containerd.sock
加入成功后,在 83 部署 kube-vip 到 86:
scp /root/k8s-ha-backup/kube-vip.yaml \
[email protected]:/etc/kubernetes/kube-vip.next.yaml
ssh [email protected] \
'chmod 600 /etc/kubernetes/kube-vip.next.yaml && mv /etc/kubernetes/kube-vip.next.yaml /etc/kubernetes/manifests/kube-vip.yaml'
从 83 检查 86:
kubectl get nodes -o wide
kubectl -n kube-system get pods -o wide --field-selector spec.nodeName=server-86
确认 86 的节点状态和控制平面组件正常,再在 87 重复输入凭证,执行同样的 join 命令,将 advertise address 改成 192.168.0.87。
然后在 83 部署 kube-vip 到 87:
scp /root/k8s-ha-backup/kube-vip.yaml \
[email protected]:/etc/kubernetes/kube-vip.next.yaml
ssh [email protected] \
'chmod 600 /etc/kubernetes/kube-vip.next.yaml && mv /etc/kubernetes/kube-vip.next.yaml /etc/kubernetes/manifests/kube-vip.yaml'
86 和 87 依次加入,分别等待成功。etcd 从一个成员扩到两个成员期间,两名成员都要在线才能维持法定多数,因此这一阶段不要关闭任一控制平面节点。
本节使用标准 kubeadm join。节点如果有旧配置或加入失败,先看第 05 节的排查方法;不要对已经加入的控制平面节点直接执行 reset。
7. 迁移原有客户端入口
kubeadm-config 的 controlPlaneEndpoint 更新后,已有客户端配置不会自动全部修改。下面处理本例中的原有 kubelet、83 上的 kubectl 和 kube-proxy。
在 83 备份并修改 kubectl 和 kubelet 配置:
cp -a /root/.kube/config /root/k8s-ha-backup/kubectl.before-ha
cp -a /etc/kubernetes/kubelet.conf /root/k8s-ha-backup/kubelet.before-ha
sed -i 's#https://192\.168\.0\.83:6443#https://192.168.0.80:6443#g' \
/root/.kube/config /etc/kubernetes/kubelet.conf
systemctl restart kubelet
分别在 84、85 上备份并修改 kubelet 配置:
cp -a /etc/kubernetes/kubelet.conf /root/kubelet.conf.before-ha
sed -i 's#https://192\.168\.0\.83:6443#https://192.168.0.80:6443#g' \
/etc/kubernetes/kubelet.conf
systemctl restart kubelet
以上替换只覆盖本例中的旧地址。实际环境要先检查每台机器的 kubelet 配置和其他 kubeconfig;其他管理机、自动化工具或集成系统若直接连接旧地址,也需要逐个迁移。调度器、控制器连接本机 API Server 的配置按原样保留。
在 83 备份并修改 kube-proxy 配置:
kubectl -n kube-system get cm kube-proxy -o json \
> /root/k8s-ha-backup/kube-proxy.before-ha.json
python3 <<'PY'
import json
from pathlib import Path
work = Path('/root/k8s-ha-backup')
obj = json.loads((work / 'kube-proxy.before-ha.json').read_text())
config = obj['data']['kubeconfig.conf']
old = 'https://192.168.0.83:6443'
new = 'https://192.168.0.80:6443'
if old not in config:
raise SystemExit('未找到预期的旧入口,请先检查 kube-proxy 配置。')
patch = {'data': {'kubeconfig.conf': config.replace(old, new)}}
(work / 'kube-proxy.patch.json').write_text(json.dumps(patch))
PY
kubectl -n kube-system patch cm kube-proxy --type=merge \
--patch-file /root/k8s-ha-backup/kube-proxy.patch.json
kubectl -n kube-system rollout restart daemonset kube-proxy
kubectl -n kube-system rollout status daemonset kube-proxy --timeout=180s
等待 kube-proxy 全部更新完成。迁移后可再次查看各节点的 kubelet 配置和 kube-proxy ConfigMap,确认使用 VIP。
04 验证集群与故障切换
1. 检查节点和控制平面组件
在 83 执行:
kubectl get nodes -o wide
kubectl -n kube-system get pods -o wide | grep -E '(^NAME|^(etcd|kube-apiserver|kube-controller-manager|kube-scheduler|kube-vip)-)'
预期结果:
- 83、86、87 是 control-plane,五台节点都是 Ready。
- 三台控制平面上的 etcd、API Server、控制器、调度器和 kube-vip 都正常运行。
- kube-vip 的 VIP 可以在三台控制平面节点上使用。
2. 检查 etcd 成员
kubectl -n kube-system exec etcd-server-83 -- etcdctl \
--endpoints=https://127.0.0.1:2379 \
--cacert=/etc/kubernetes/pki/etcd/ca.crt \
--cert=/etc/kubernetes/pki/etcd/healthcheck-client.crt \
--key=/etc/kubernetes/pki/etcd/healthcheck-client.key \
endpoint health --cluster
示例结果:
https://192.168.0.83:2379 is healthy
https://192.168.0.86:2379 is healthy
https://192.168.0.87:2379 is healthy
三个成员都显示 healthy,表示当前各成员可以正常处理健康检查。节点和组件状态检查完成后,继续做实际故障切换测试。
3. 验证 VIP 故障切换
选择实验或维护窗口执行。准备好虚拟机控制台,确保故障节点可以重新启动。操作前确认三个 etcd 成员都健康。
先在三台控制平面节点分别查看:
ip -4 addr show ens33
找到当前持有 192.168.0.80 的节点。通过虚拟机管理平台关闭该节点,等待 VIP 漂移,然后在另一台仍运行的控制平面节点查看:
ip -4 addr show ens33
kubectl --kubeconfig=/etc/kubernetes/admin.conf \
--server=https://192.168.0.80:6443 \
get nodes
确认 VIP 已出现在存活节点上,通过 80 仍能访问 API;恢复关闭的节点,等待它重新 Ready,再执行一次 etcd 健康检查。
每次只关闭一台控制平面节点。三成员 etcd 至少需要两台正常运行。
ARP 通告、网络设备和 API 启动时间会影响切换时间;如果 VIP 没有漂移,检查 kube-vip 日志、节点间网络和虚拟交换机设置。节点存活但本机 API Server 单独故障时,也应单独测试客户端的实际访问表现。
05 常见问题与处理
1. 通过 VIP 访问时报 x509 地址不匹配
查看 API Server 证书:
openssl x509 -in /etc/kubernetes/pki/apiserver.crt -noout -ext subjectAltName
确认 SAN 包含访问使用的 VIP 或域名,并确认 API Server 已加载新证书。原有访问地址仍需使用时,也要保留在新证书中。
2. join 时提示连接超时或证书下载失败
检查 VIP、6443 端口、containerd 镜像拉取、节点时间,以及 token、CA 指纹和 certificate key 是否正确。certificate key 对应的共享证书默认约两小时有效,过期后重新上传并使用新密钥。
3. kubelet 启动失败或 TLS Bootstrap 超时
在出问题的新节点查看:
systemctl status kubelet --no-pager
journalctl -u kubelet -n 100 --no-pager
根据日志检查 Swap、容器运行时、cgroup 驱动、API 连通性和节点凭证。出现 kubelet.conf 或客户端证书缺失时,先核对 kubeadm join 的完整报错和节点当前状态,再按对应故障修复。
4. join 中途失败,可以直接重试或 reset 吗?
先在现有控制平面检查节点和 etcd:
kubectl get nodes -o wide
kubectl -n kube-system exec etcd-server-83 -- etcdctl \
--endpoints=https://127.0.0.1:2379 \
--cacert=/etc/kubernetes/pki/etcd/ca.crt \
--cert=/etc/kubernetes/pki/etcd/healthcheck-client.crt \
--key=/etc/kubernetes/pki/etcd/healthcheck-client.key \
member list -w table
确认失败节点是否已经注册、etcd 成员是否已经添加,再确定恢复步骤。保留日志和备份;不要在原控制平面执行 reset,也不要反复添加同一个 etcd 成员。
5. 节点全部 Ready,为什么还要测试切换?
Ready 和 etcd healthy 说明检查时节点与成员工作正常。实际关闭一个 VIP 持有节点,可以验证 VIP 漂移、客户端重连和剩余 etcd 成员是否符合预期。
06 常用命令速查
| 想查看什么 | 命令 |
|---|---|
| 节点和 IP | kubectl get nodes -o wide |
| 控制平面组件 | kubectl -n kube-system get pods -o wide |
| kubeadm 集群配置 | kubectl -n kube-system get cm kubeadm-config -o yaml |
| API 证书地址 | openssl x509 -in /etc/kubernetes/pki/apiserver.crt -noout -ext subjectAltName |
| 指定节点地址 | ip -br -4 addr |
| kubelet 日志 | journalctl -u kubelet -n 100 --no-pager |
| 容器运行状态 | crictl --runtime-endpoint unix:///run/containerd/containerd.sock ps -a |
| kube-proxy 更新状态 | kubectl -n kube-system rollout status daemonset kube-proxy |
07 面试回答与追问
面试题:运行中的单主 K8s 集群,怎么扩成三主高可用?
先确认集群的安装方式、etcd 拓扑、证书和现有 API 入口,做好 etcd 和配置备份。
然后规划统一访问入口,为 API Server 证书加入入口地址;准备两台控制平面节点,通过 kubeadm 依次加入,并将本地 etcd 扩成三个成员。
接着迁移原有客户端的 API 连接,检查节点、管理组件和 etcd 健康状态。最后关闭一台控制平面节点,验证入口切换和集群管理能力。
补充说明:原集群没有配置 controlPlaneEndpoint 时,直接转换不在 kubeadm 官方支持范围内;生产操作需要先制定并验证迁移方案。
Q1:为什么一般使用三个 etcd 成员?
三个成员需要两票形成法定多数,一台故障后仍然可以工作。加入第二台成员后,两个成员都在线才有多数,因此应尽快在确认健康后加入第三台。
Q2:三个 API Server、调度器和控制器都在工作吗?
三个 API Server 都可以处理请求。调度器和控制器分别选主,各自由一个领导实例执行主要工作,其他实例参与选主和接管。
Q3:VIP 会自动把请求分发给三个 API Server 吗?
不会。VIP 提供固定的访问地址。只做 VIP 漂移时,谁持有 VIP,连接就到谁。配置了负载均衡,不同连接才会按策略分到不同的 API Server。
Q4:API Server 和 etcd 分别用什么地址通信?
看 API Server 的 --etcd-servers 配置。kubeadm 部署本地 etcd 时,API Server 通常连 https://127.0.0.1:2379。使用外部 etcd 时,就连配置的外部地址。etcd 成员之间通过各自公布的 peer 地址同步数据,默认端口是 2380。
Q5:为什么修改了 kubeadm-config,还要修改 kubelet 和 kube-proxy?
kubeadm-config 记录 kubeadm 使用的集群配置;原有客户端有各自的 kubeconfig。更新 ConfigMap 后,需要检查并迁移仍指向旧地址的客户端配置。
Q6:控制平面故障后,业务 Pod 会怎样?
已经运行的 Pod 通常可以继续运行;控制平面主要负责管理和调度。业务是否持续可用,还取决于工作节点、网络、存储以及应用本身的状态。
08 集群检查脚本
下面的脚本查看节点、控制平面组件和 etcd 成员健康。脚本只读取状态,通过第一个参数指定一个健康的 etcd 静态 Pod 名称。
在任意有集群管理权限和 kubectl 的机器上创建:
cat > check-k8s-ha.sh <<'EOF'
#!/usr/bin/env bash
set -euo pipefail
if [ "$#" -ne 1 ]; then
echo "用法:bash $0 etcd-Pod名称" >&2
exit 1
fi
etcd_pod=$1
echo '节点状态:'
kubectl get nodes -o wide
echo
echo '控制平面组件:'
kubectl -n kube-system get pods -o wide | \
grep -E '(^NAME|^(etcd|kube-apiserver|kube-controller-manager|kube-scheduler|kube-vip)-)'
echo
echo 'etcd 成员健康状态:'
kubectl -n kube-system exec "$etcd_pod" -- etcdctl \
--endpoints=https://127.0.0.1:2379 \
--cacert=/etc/kubernetes/pki/etcd/ca.crt \
--cert=/etc/kubernetes/pki/etcd/healthcheck-client.crt \
--key=/etc/kubernetes/pki/etcd/healthcheck-client.key \
endpoint health --cluster
EOF
将 Pod 名称换成自己的:
bash check-k8s-ha.sh etcd-server-83
脚本适用于本文的 kubeadm 本地 etcd 路径;如果证书路径、etcd 部署方式或组件名称不同,按实际环境修改。脚本显示检查时的状态,故障切换按第 04 节单独验证。
09 生产使用要点与技术参考
- 提前规划统一入口、地址预留、节点网络和 etcd 备份。
- 控制平面逐台加入,每加入一台先确认节点和 etcd 正常。
- 核对所有客户端连接地址,安排维护窗口并验证实际切换。
- 定期检查证书有效期、etcd 快照和恢复流程。
技术参考: