2. 故障排除

# 统计ready节点数量

## 参考文档
[https://kubernetes.io/zh-cn/docs/concepts/architecture/nodes/](https://kubernetes.io/zh-cn/docs/concepts/architecture/nodes/)

## 例题
检查有多少个worker nodes已经准备就绪（不包括被打上Taint NoSchedule的节点），并将数量写入/opt/kusc.txt

## 解题思路
先查看所有Ready状态的节点Taint信息,排除NoSchedule的节点，最后统计个数

## 答案
```bash
# 统计ready状态节点数
[root@k8s-master ~]# kubectl get nodes | grep -v NotReady | grep -v NAME
k8s-master   Ready      control-plane   9d    v1.24.13
k8s-work1    Ready      <none>          9d    v1.24.13
# 查看ready状态节点数的taint信息，排除NoSchedule的节点
[root@k8s-master ~]# kubectl describe nodes `kubectl get nodes | grep -v NotReady | grep -v NAME | awk '{ print $1 }'` | grep Taint | grep -v NoSchedule
Taints:             <none>
# 将结果写入文件中
echo 1 > /opt/kusc.txt
```

# 节点NotReady处理

## 例题
名为k8s-work2的kubernetes worker node处于NotReady状态。调查发生这种情况的原因，并采取相应措施将node恢复为ready状态，确保所做的任何更改永久有效

## 解题思路
固定答案，就是kubelet未启动导致，直接启动并设置开机自启动即可。

## 答案
```bash
kubectl get node
NAME         STATUS     ROLES           AGE   VERSION
k8s-master   Ready      control-plane   10d   v1.24.13
k8s-work1    Ready      <none>          10d   v1.24.13
k8s-work2    NotReady   <none>          10d   v1.24.13
ssh k8s-work2
sudo -i 
systemctl status kubelet 
systemctl start kubelet 
systemctl enable kubelet
```

# 获取pod错误日志

## 参考文档
[https://kubernetes.io/zh-cn/docs/concepts/cluster-administration/logging/](https://kubernetes.io/zh-cn/docs/concepts/cluster-administration/logging/)

## 例题
监控pod filebeat的日志并提取与Non-zero metrics相对应的日志行，将这些日志行写入/opt/error/bar

## 解题思路
使用kubectl logs命令查看日志，并通过grep过滤指定关键字日志

## 答案
```bash
[root@k8s-master ~]# kubectl logs filebeat | grep "Non-zero metrics" > /opt/error/bar
```

# 获取使用CPU最高的Pod

## 参考文档
[https://kubernetes.io/zh-cn/docs/reference/kubectl/cheatsheet/](https://kubernetes.io/zh-cn/docs/reference/kubectl/cheatsheet/)

## 例题
通过pod lable app=cpu-utilizer，找到运行时占用大量CPU的pod，并将占用CPU最高的pod名称写入文件/opt/top/kut.txt

## 解题思路
使用kubectl top命令查看cpu资源占用情况，如果忘记选项，可以先执行`kubectl top pod -h`查看提示内容，然后过sort-by选项排序

## 答案
```bash
[root@k8s-master ~]# kubectl top pod -l app=cpu-utilizer --sort-by="cpu"
NAME                           CPU(cores)   MEMORY(bytes)   
cpu-utilizer-5cd5546bc-7mfkk   13m          688Mi           
cpu-utilizer-5cd5546bc-n2wvl   11m          618Mi           
cpu-utilizer-5cd5546bc-r8tnk   11m          677Mi  
# 然后将第一个Pod名称写到文件 
[root@k8s-master ~]#echo cpu-utilizer-5cd5546bc-7mfkk > /opt/top/kut.txt
```