使用kubeadm搭建k8s集群

之前一直在写关于k8s的文章，但是一直没有写如何安装k8s的文章，今天抽时间简单的记录一下。关于k8s安装的文章网上的教程很多甚至还有一键安装的脚本，大家都可以参考参考。我今天主要是按照官方文档安装一个最简单的k8s集群。那么下面就来一起看一下吧。

一、前期准备

首先是准备4台服务器：1个master节点，3个普通的node节点。我购买的是腾讯云的服务器，配置均是2C4G，操作系统是centos 7.6。k8s要求服务器的最低配置是2C2G。
服务器内网Ip如下：

master ip 172.27.0.7
node01 ip 172.27.0.16
node02 ip 172.27.0.2
node03 ip 172.27.0.12

关于网络环境、开放端口等内容这里不在介绍了，官网文档都有相关说明，按照官方文档基本没有问题，另外说一下k8s的官方文档也支持中文，这个还是很友好的。

本次安装的k8s的版本为1.18.6。目前k8s的版本更新速度也是很快的，目前我们项目上使用的还是1.17.0版本。另外k8s的runtime我选择非常熟悉的docker，当然k8s支持的也比较多，比如：containerd和CRI-O。

二、安装docker

既然我们选择使用docker作为k8s的runtime，所以首先我们就要在每台服务器上安装docker。另外需要注意一点的是k8s的版本和docker的版本一定要适应，可以参考k8s的CHANGELOG地址。我这里选择的docker版本是19.03-11，而19.03也是k8s官方推荐的版本。
docker的安装可以按照k8s的教程也可以直接按照docker的官方文档。下面开始安装：

下面的安装都是以root用户运行
## 安装所需的包
yum install -y yum-utils device-mapper-persistent-data lvm2

## 建议使用阿里云
yum-config-manager --add-repo  http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

## 安装最新版本docker
 yum install docker-ce docker-ce-cli containerd.io

## 安装指定版本19.03（官方推荐版本）
 yum install -y  containerd.io-1.2.13 docker-ce-19.03.11 docker-ce-cli-19.03.11  

## 创建 /etc/docker目录
mkdir /etc/docker

## 设置docker配置文件
cat > /etc/docker/daemon.json <<EOF
{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  },
  "registry-mirrors": ["https://0gbs116j.mirror.aliyuncs.com","https://registry.docker-cn.com","https://mirror.ccs.tencentyun.com","https://docker.mirrors.ustc.edu.cn"],
  "storage-driver": "overlay2",
  "storage-opts": [
    "overlay2.override_kernel_check=true"
  ]
}
EOF

## 设置docker开机启动
mkdir -p /etc/systemd/system/docker.service.d

systemctl enable docker
systemctl daemon-reload
systemctl restart docker

## 查看docker信息
docker info

三、服务器其他设置

安装好docker之后我们还需要对我们的服务器进行一些设置，比如关闭防火墙、关闭交换等等，这些我就统一放在一起了，这些也是需要在每台服务器上执行。
为了容器区分服务器，设置每台服务器的hostname:

## 设置主机名称
hostnamectl set-hostname <host_name>
## 查看
hostname

配置服务器相关参数：

## 配置内核参数，将桥接的IPv4流量传递到iptables的链
cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

## 手动加载配置文件
sudo sysctl --system

## 防火墙关闭
systemctl stop firewalld
systemctl disable firewalld

## 将 SELinux 设置为 permissive 模式（相当于将其禁用）
setenforce 0
sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config

## 关闭交换空间
swapoff -a
sed -i 's/.*swap.*/#&/' /etc/fstab

## ip转发
echo '1' > /proc/sys/net/ipv4/ip_forward

四、安装master节点

到这里算是进入正式的安装步骤，我采用比较简单的kubeadm进行安装，当然如果愿意也可以尝试使用二进制安装。
因为国内网络的问题，所以建议配置包管理器时使用阿里云。

## 配置包管理器（使用阿里云）
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

因为这里是安装master所以需要安装kubelet、kubeadm和kubectl。

## 安装最新版
yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes
## 指定版本安装的版本
yum install -y kubelet-1.18.6  kubeadm-1.18.6  kubectl--1.18.6

安装好后需要设置kubelet开机启动，后面初始化的时候需要保证kubelet处于运行状态。

## kubelet设置自启动
systemctl enable --now kubelet

接下来我们需要完成master的初始化：

kubeadm init --kubernetes-version=1.18.6 \
--apiserver-advertise-address=<ip>  \
--image-repository registry.aliyuncs.com/google_containers \
--service-cidr=10.1.0.0/16 --pod-network-cidr=10.244.0.0/16 \
--upload-certs | tee kubeadm-init.log

关于初始化参数的内容可以看官方文档。我这里主要指定了apiserver的ip（这里自己在安装的时候也遇到了一个坑）。还有就是k8s中SVC和POD的网络地址，需要避免二者冲突，当然service-cidr也可以直接使用默认值，另外还配置了使用阿里云的镜像仓库地址。
之后有下面的输出，表示初始化成功：

图-1.png

最后的那个kubeadm命令我们可以复制并保存起来，以便node节点加入到k8s集群。

接下来我们就按照提示为普通用户配置使用k8s的权限：

## 普通用户执行权限
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

## 或者root执行
export KUBECONFIG=/etc/kubernetes/admin.conf

当然，到这里还没有介绍，我们还差了一个很重要的东西，就是网络组件。至于选择calico还是flannel见仁见智吧，我们目前是开发和测试使用的calico，生产使用的是flannel，原因吗，开发和生产的集群不是一个人装的....我这里选择了是calico。

## 使用最新版本
kubectl apply -f https://docs.projectcalico.org/manifests/calico.yaml
## 我选择3.8版本
kubectl apply -f https://docs.projectcalico.org/v3.8/manifests/calico.yaml

到这里我们的master节点就安装完成了，接下来就是安装普通的node节点。

五、安装node节点

安装普通的node节点和master节点基本上差不多，也是需要安装docker并修改服务器配置，这点二者完全相同，不同的地方在于普通的node节点无需安装kubectl，还有就是不需要安装calico。calico是由其实在每台服务器上都是以daemonset方式运行的，只要一个node节点加入的k8s的集群，k8s都会自动在该节点创建一个calico的Pod。下面我们就安装kubelet和kubeadm，并加入到k8s集群中：

### 指定版本
yum install -y kubelet-1.18.6 kubeadm-1.18.6

## kubelet自启动
systemctl enable kubelet
systemctl start kubelet

输出如下：


图-2.png

接下来我们就将该节点加入的k8s集群，复制master成功后的命令：

kubeadm join 172.27.0.7:6443 --token 7lrxdu.oia8oorf1r60ja0x \
    --discovery-token-ca-cert-hash sha256:56f86aba305beda6ad6ccf744ac236f46045147831960c9fcc42d88e6f9329bf 

## 如果token过期可以直接在master执行下面的命令重新获取token，然后重新复制即可。
kubeadm token create --print-join-command

在每一台node节点服务器执行上面的安装过程。最后我们在master看一下，整个集群的节点运行情况:

kubectl  get node

我们可以看下k8s相关组件的情况：

kubectl get pod -n kube-system -o wide

图-3.png

可以看到apiserver、coreDNS、kube-proxy、calico、etcd等必备组件的运行状态。

另外：如果想在一个普通的k8s节点使用kubectl命令：

复制master下的admin.conf到node节点相同的目录
/etc/kubernetes/admin.conf

### 然后重置环境变量
echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile
source ~/.bash_profile

六、遇到的问题

自己在安装k8s的过程中也遇到了一些问题，虽然最终解决了，但是还是不是很理解，这里列举一下。

1、初始化失败

在初始化master节点的时候，第一次我配置的apiserver的ip是服务器的外网ip，结果就是导致master初始化失败，报错如下：

图-4.png

看了kubelet的状态是运行中，然后报错是连接apiserver报错，通过docker查看容器发现etcd和apiserver一直启动失败并重启，查看etcd容器的日志只显示：
etcd: listen tcp <外网ip>:2380: bind: cannot assign requested address。
这个日志感觉也不像是错误日志。自己网上找了很多资料也没有解决这个问题，后来想想是不是应该用内网ip，果然换了内网ip之后就初始化成功了。因为自己对k8s还有服务器这块了解比较少，所以也不太清楚是什么原因，而且服务器的端口全是对外开放的。如果有了解的还希望指点一下。

2、网络问题
[ERROR FileContent--proc-sys-net-ipv4-ip_forward]: /proc/sys/net/ipv4/ip_forward contents are not set to 1
解决:
echo '1' > /proc/sys/net/ipv4/ip_forward

这个问题其实不止在这次自己安装k8s的时候遇到过。在我们项目的开发环境上，自己前段时间也是添加了一个node节点到k8s集群，结果就是这个集群中有三个节点(包括新增的节点)之间的网络通信异常，自己也一直没解决，最后找到运维的同事排查才发现是新增的节点/proc/sys/net/ipv4/ip_forward没有设置为1。

最后

本次使用kubeadm搭建一个最简单的k8s集群就到这里了，有什么问题欢迎大家留言讨论，另外也请大家关注一下我的VX个人号超超学堂，非常感谢大家的支持和关注～～～～～～

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 203,324评论 5赞 476
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 85,303评论 2赞 381
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 150,192评论 0赞 337
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 54,555评论 1赞 273
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 63,569评论 5赞 365
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 48,566评论 1赞 281
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 37,927评论 3赞 395
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,583评论 0赞 257
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 40,827评论 1赞 297
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,590评论 2赞 320
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,669评论 1赞 329
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,365评论 4赞 318
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 38,941评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,928评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,159评论 1赞 259
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 42,880评论 2赞 349
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,399评论 2赞 342