1. 基础环境准备

**节点信息**

推荐使用CentOS 7/rockylinux8系统，内核版本4.18及以上，最低配置为1核2G。

| 主机名         | IP            | 角色    | 组件                                         | 配置   |
|-------------|---------------|-------|--------------------------------------------|------|
| master      | 11.1.1.133 | 管理节点  | kube-apiserver、kube-controller-manager、etcd、docker/containerd      | 2C2G |
| node1       | 11.1.1.129 | 计算节点1 | kube-proxy、kube-flannel 、docker/containerd | 2C2G |
| node2       | 11.1.1.130 | 计算节点2 | kube-porxy、kube-flannel 、docker/containerd | 2C2G |
| harbor(非必须) | 11.1.1.134 | 私有仓库  | harbor docker                              | 2C2G |

# 基础环境配置

## 一、基础公共环境配置

1.1. 修改主机名与hosts文件
```
# 每个主机根据各自名称设定
hostnamectl set-hostname k8s-master
hostnamectl set-hostname k8s-node1
hostnamectl set-hostname k8s-node2
```

```
# 所有主机添加相同配置
cat >> /etc/hosts << EOF
11.1.1.133 k8s-master
11.1.1.129 k8s-node1
11.1.1.130 k8s-node2
EOF
```

1.2. 验证mac地址uuid，保证各节点mac和uuid唯一

```
cat /sys/class/net/ens*/address
cat /sys/class/dmi/id/product_uuid
```

1.3. 时间同步

```
# 所有节点设置
yum install ntpdate  wget -y
ntpdate ntp1.aliyun.com
hwclock -w
```

1.4. 设置防火墙规则
```
# 所有节点设置
systemctl  stop firewalld.service
systemctl disable firewalld.service
yum -y install iptables-services
systemctl start iptables
systemctl enable iptables
iptables -F
service iptables save
```

1.5. 关闭selinux
```
# 所有节点设置
setenforce 0
sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config
```

1.6. 关闭swap分区
```
# 所有节点设置
swapoff -a
sed -i 's!.*swap.*!# &!' /etc/fstab
```

1.7. 修改内核iptables相关参数,启用iptables查看桥接流量
```
cat > /etc/sysctl.d/kubernetes.conf << EOF
vm.swappiness = 0
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF

modprobe br_netfilter
sysctl --system
```

>CentOS 8 不加载 br_netfilter 会有如下报错:
sysctl: cannot stat /proc/sys/net/bridge/bridge-nf-call-iptables: 没有那个文件或目录

解决办法：需要在开机加载modprobe br_netfilter模块
```
cat > /etc/rc.sysinit << EOF
#!/bin/bash
for file in /etc/sysconfig/modules/*.modules ; do
[ -x $file ] && $file
done
EOF

cat > /etc/sysconfig/modules/br_netfilter.modules << EOF
modprobe br_netfilter
EOF

chmod 755 /etc/sysconfig/modules/br_netfilter.modules

lsmod |grep br_netfilter
br_netfilter           24576  0
bridge                290816  1 br_netfilter
```

## 二、其他公共环境配置

2.1. 配置K8S国内yum源
```
cat > /etc/yum.repos.d/kubernetes.repo <<EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
```

安装和启动k8s管理工具
```
yum install kubeadm-1.23.6 kubectl-1.23.6 kubelet-1.23.6 -y
# yum install -y kubelet-1.24.13 kubeadm-1.24.13 kubectl-1.24.13 -y
systemctl enable kubelet
systemctl start kubelet
```

2.2. kube-proxy开启ipvs的前置条件
```
yum -y install ipset ipvsadm
cat > /etc/sysconfig/modules/ipvs.modules <<EOF 
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack
EOF

chmod 755 /etc/sysconfig/modules/ipvs.modules && bash
/etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack
ip_vs_sh               16384  0
ip_vs_wrr              16384  0
ip_vs_rr               16384  0
ip_vs                 172032  6 ip_vs_rr,ip_vs_sh,ip_vs_wrr
nf_conntrack          172032  1 ip_vs
nf_defrag_ipv6         20480  2 nf_conntrack,ip_vs
nf_defrag_ipv4         16384  1 nf_conntrack
libcrc32c              16384  4 nf_conntrack,nf_tables,xfs,ip_vs
```

>linux kernel 4.19版本已经将nf_conntrack_ipv4 更新为 nf_conntrack