资讯专栏INFORMATION COLUMN

上云采购季！| 2核2G4M爆款云服务器低至59元/年，更有多台、长期优惠，快来选购！

立即前往
首页/文章专栏/循序渐进的手动安装k8s笔记-1

循序渐进的手动安装k8s笔记-1

CoderDock / 3296人阅读

摘要：日志级别通过启动并设置为开机自启动之后可以通过来检查服务器运行状态安装服务编辑服务文件环境变量文件中定义了启动参数。

不知道有没有人和我一样，在手动安装时因为很多原因没有成功（主要还是知识储备不够），被各种高可用配置和各种证书权限弄得迷迷糊糊。这个笔记是我在尝试了很多种手动安装Kubernetes集群教程中的方法失败后产生的想法，希望能够将复杂的配置化繁为简，呈现出一个基本功能的Kubernetes程序，记录下如何以最简的方式配置各个组件，使其能够实现基本的功能。然后再逐步添加多节点、安全认证、高可用等复杂配置，通过这个过程来理解Kubernetes各种基础组件之间的关系已经配置方法。

计划的第一步就是完成一个非安全的单 master 单 node 集群，api-server 和 kubelet 等组件都通过systemd来管理，master 上不安装kubelet 只做管理端使用。首先我尝试用比较新的 1.10.X 版k8s 安装，但是安装过程中没有办法用非证书认证方式指定 api-server 的地址，似乎官方在有意逐步取消对非安全方式的支持。最后还是选择了比较旧的k8s 1.6.0 来完成安装。

参考资料：

《Kubernetes权威指南》

运行环境&软件版本：

Ubuntu 16.04.4 LTS

kubernetes v1.6.0

etcd v3.0.14

docker-ce 18.06.1-ce

角色规划：
主机名 IP地址 角色 CPU/内存
u16-1 192.168.112.148 master(only as master) 2核/2G
u16-2 192.168.112.149 node 2核/2G
环境准备

从 github 的 Kubernetes 项目页面 上找到我们需要的 V1.6.0版本，然后点击 CHANGELOG，在 Older releases 下面点击 CHANGELOG-1.6.md ，找到 v1.6.0 版本的 Server Binaries 中对应的架构的包（kubernetes-server-linux-amd64.tar.gz）下载并上传到服务器(国内上网环境可能无法正常下载)

k8s 1.6.0 对应的 etcd 版本为 v3.0.14，同样可以从 github 上 etcd 项目对应版本的页面找到并下载到服务器

</>复制代码 
  1. wget https://github.com/etcd-io/etcd/releases/download/v3.0.14/etcd-v3.0.14-linux-amd64.tar.gz

关闭 swap并在 /etc/fstab 文件中取消掉自动挂载

</>复制代码 
  1. sudo swapoff -a

如果系统上安装了SELinux，需要将其关闭。另外还需要在防火墙上放开下面步骤中所有需要使用的端口，或者关闭防火墙管理软件，我这里选择将ubuntu16.04默认的ufw关闭

</>复制代码 
  1. sudo ufw disable
MASTER 节点安装 安装 etcd 服务 
</>复制代码 
  1. tar xf etcd-v3.0.14-linux-amd64.tar.gz
  2. #把解压后的 etcd 和 etcdctl 复制到 /usr/bin 目录下
  3. sudo cp etcd-v3.0.14-linux-amd64/etcd{,ctl} /usr/bin/

然后设置 systemd 服务文件 /lib/systemd/system/etcd.service

</>复制代码 
  1. [Unit]
  2. Description=Etcd Server
  3. After=network.target
  4. [Service]
  5. Type=notify
  6. WorkingDirectory=/var/lib/etcd/
  7. EnvironmentFile=-/etc/etcd/etcd.conf
  8. ExecStart=/usr/bin/etcd
  9. [Install]
  10. WantedBy=multi-user.target

这里 WorkingDirectory 指定的目录需要提前创建好，这个目录将作为etcd数据保存的目录。

EnvironmentFile 可以指定 etcd 的配置文件。在我这里因为只是测试安装，所以 etcd 使用默认配置就可以了。

通过 systemd 启动 etcd 并设置为开机自启动

</>复制代码 
  1. sudo systemctl daemon-reload
  2. sudo systemctl start etcd
  3. sudo systemctl enable etcd
  4. # 完成后可以检查一下服务是否正常运行
  5. systemctl status etcd
  6. # 也可以使用 etcdctl 来检查 etcd 健康状况
  7. etcdctl cluster-health
  8. # 正常的输出为：
  9. # member 8e9e05c52164694d is healthy: got healthy result from http://localhost:2379
  10. # cluster is healthy
安装 kube-apiserver 服务 
</>复制代码 
  1. tar xf kubernetes-server-linux-amd64.tar.gz
  2. # 将 kube-apiserver、kube-controller-manager 和 kube-scheduler 的二进制文件复制到 /usr/bin 目录下
  3. sudo cp kubernetes/server/bin/kube-{apiserver,controller-manager,scheduler} /usr/bin/

编辑 systemd 服务文件 /lib/systemd/system/kube-apiserver.service

</>复制代码 
  1. [Unit]
  2. Description=Kubernetes API Server
  3. After=etcd.service
  4. Wants=etcd.service
  5. [Service]
  6. EnvironmentFile=/etc/kubernetes/apiserver
  7. ExecStart=/usr/bin/kube-apiserver $KUBE_API_ARGS
  8. Restart=on-failure
  9. Type=notify
  10. LimitNOFILE=65536
  11. [Install]
  12. WantedBy=multi-user.target

环境变量文件 /etc/kubernetes/apiserver 中定义了 kube-apiserver 启动参数 KUBE_API_ARGS。我们创建这个文件并填入如下内容

</>复制代码 
  1. KUBE_API_ARGS="--storage-backend=etcd3 --etcd-servers=http://127.0.0.1:2379 
  2. --insecure-bind-address=0.0.0.0 --insecure-port=8080 
  3. --service-cluster-ip-range=169.169.0.0/16 --service-node-port-range=1-65535 
  4. --admission_control=NamespaceLifecycle,LimitRanger,ServiceAccount, 
  5. DefaultStorageClass,ResourceQuota 
  6. --logtostderr=false --log-dir=/var/log/kubernetes --v=2"
</>复制代码 
  1. 参数说明：  
    --storage-backend ：指定 etcd 版本。
    --etcd-servers ：指定 etcd 服务器地址和端口。  
    --insecure-bind-address ：指定 api-server 非安全方式绑定的地址。0.0.0.0 表示所有地址。  
    --insecure-port ：指定 api-server 非安全方式启用的端口号。  
    --service-cluster-ip-range ：指定集群 Cluster IP 网段，如果后续需要使用网络插件这里需要按照网络插件要求的网段配置。  
    --service-node-port-range ：指定集群中 Service 可以映射物理机端口号范围  
    --admission_control ：Kubernetes 集群的准入控制设置，各控制模块以插件形式依次生效。  
    --logtostderr ：指定为 false 时将错误日志写入日志文件而非 标准输出。  
    --log-dir ：日志保存路径。  
    --v ：日志级别

通过 systemd 启动 kube-apiserver 并设置为开机自启动

</>复制代码 
  1. sudo systemctl daemon-reload
  2. sudo systemctl start kube-apiserver
  3. sudo systemctl enable kube-apiserver
  4. # 之后可以通过 status 来检查服务器运行状态
  5. systemctl status kube-apiserver
安装 kube-controller-manager 服务

编辑 systemd 服务文件 /lib/systemd/system/kube-controller-manager.service

</>复制代码 
  1. [Unit]
  2. Description=Kubernetes Controller Manager
  3. After=kube-apiserver.service
  4. Requires=kube-apiserver.service
  5. [Service]
  6. EnvironmentFile=/etc/kubernetes/controller-manager
  7. ExecStart=/usr/bin/kube-controller-manager $KUBE_CONTROLLER_MANAGER_ARGS
  8. Restart=on-failure
  9. LimitNOFILE=65536
  10. [Install]
  11. WantedBy=multi-user.target

环境变量文件 /etc/kubernetes/controller-manager 中定义了 kube-controller-manager 启动参数 KUBE_CONTROLLER_MANAGER_ARGS。我们创建这个文件并填入如下内容

</>复制代码 
  1. KUBE_CONTROLLER_MANAGER_ARGS="--master=http://192.168.112.148:8080 
  2. --logtostderr=false 
  3. --log-dir=/var/log/kubernetes 
  4. --v=2"
</>复制代码 
  1. 参数说明：
    --master ：指定 API-server 的URL地址
安装 kube-scheduler 服务

编辑 systemd 服务文件 /lib/systemd/system/kube-scheduler.service

</>复制代码 
  1. [Unit]
  2. Description=Kubernetes Scheduler Server
  3. After=kube-apiserver.service
  4. Requires=kube-apiserver.service
  5. [Service]
  6. EnvironmentFile=/etc/kubernetes/scheduler
  7. ExecStart=/usr/bin/kube-scheduler $KUBE_SCHEDULER_ARGS
  8. Restart=on-failure
  9. LimitNOFILE=65536
  10. [Install]
  11. WantedBy=multi-user.target

环境变量文件 /etc/kubernetes/scheduler 中定义了 kube-scheduler 启动参数 KUBE_SCHEDULER_ARGS。我们创建这个文件并填入如下内容

</>复制代码 
  1. KUBE_SCHEDULER_ARGS="--master=http://192.168.112.148:8080 
  2. --logtostderr=false 
  3. --log-dir=/var/log/kubernetes 
  4. --v=2"

安装完 kube-controller-manager 和 kube-scheduler 之后将其启动并设置为开机自启动

</>复制代码 
  1. sudo systemctl daemon-reload
  2. sudo systemctl start kube-controller-manager kube-scheduler
  3. sudo systemctl enable kube-controller-manager kube-scheduler
  4. # 同样，启动之后可以通过 systemctl status XXXX 来检查服务的状态
  5. systemctl status kube-controller-manager
  6. systemctl status kube-scheduler.service

master 上的安装已经完成，下一步就要开始安装 node 节点上需要的服务了。

NODE 节点安装

node 节点上需要安装的服务有 docker 、kubelet 和 kube-proxy。

安装 docker-ce

安装 docker 的方式很多，在这里我使用添加阿里云的源并使用 apt-get 安装：

</>复制代码 
  1. # step 1: 安装必要的一些系统工具
  2. sudo apt-get update
  3. sudo apt-get -y install apt-transport-https ca-certificates curl software-properties-common
  4. # step 2: 安装GPG证书
  5. curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
  6. # Step 3: 写入软件源信息
  7. sudo add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
  8. # Step 4: 更新并安装 Docker-CE
  9. sudo apt-get -y update
  10. sudo apt-get -y install docker-ce

按装好后 docker 就是启动状态并且设置了开机自启。

安装 kubelet 
</>复制代码 
  1. tar xf kubernetes-server-linux-amd64.tar.gz
  2. # 将 kubelet 和 kube-proxy 的二进制文件复制到 /usr/bin 目录下
  3. sudo cp kubernetes/server/bin/kube{let,-proxy} /usr/bin/

编辑 systemd 服务文件 /lib/systemd/system/kubelet.service

</>复制代码 
  1. [Unit]
  2. Description=Kubernetes Kubelet Server
  3. After=docker.service
  4. Requires=docker.service
  5. [Service]
  6. WorkingDirectory=/var/lib/kubelet
  7. EnvironmentFile=/etc/kubernetes/kubelet
  8. ExecStart=/usr/bin/kubelet $KUBELET_ARGS
  9. Restart=on-failure
  10. [Install]
  11. WantedBy=mulit-user.target

WorkingDirectory 指定的路径是 kubelet 的数据目录，需要在服务运行前创建提前创建。

环境变量文件 /etc/kubernetes/kubelet 中定义了 kubelet 启动参数 KUBELET_ARGS。我们创建这个文件并填入如下内容

</>复制代码 
  1. KUBELET_ARGS="--api-servers=http://192.168.112.148:8080 
  2. --hostname-override=u16-2 
  3. --logtostderr=false 
  4. --log-dir=/var/log/kubernetes 
  5. --v=2"
</>复制代码 
  1. 参数说明：
    --api-servers ：指定 apiserver 的URL地址。
  2. --hostname-override ：指定注册到 apiserver 时本节点的名称。

通过 systemd 启动 kubelet 并设置为开机自启动

</>复制代码 
  1. sudo systemctl daemon-reload
  2. sudo systemctl start kubelet
  3. sudo systemctl enable kubelet
  4. # 之后可以通过 status 来检查服务器运行状态
  5. systemctl status kubelet
安装 kube-proxy 服务

编辑 systemd 服务文件 /lib/systemd/system/kube-proxy.service

</>复制代码 
  1. [Unit]
  2. Description=Kubernetes Kube-Proxy Server
  3. After=networking.service
  4. Requires=networking.service
  5. [Service]
  6. EnvironmentFile=/etc/kubernetes/proxy
  7. ExecStart=/usr/bin/kube-proxy $KUBE_PROXY_ARGS
  8. Restart=on-failure
  9. LimitNOFILE=65536
  10. [Install]
  11. WantedBy=multi-user.target

环境变量文件 /etc/kubernetes/proxy 中定义了 kube-proxy 启动参数 KUBE_PROXY_ARGS。我们创建这个文件并填入如下内容

</>复制代码 
  1. KUBE_PROXY_ARGS="--master=http://192.168.112.148:8080 
  2. --logtostderr=false 
  3. --log-dir=/var/log/kubernetes 
  4. --v=2"

通过 systemd 启动 kubu-proxy 并设置为开机自启动

</>复制代码 
  1. sudo systemctl daemon-reload
  2. sudo systemctl start kube-proxy
  3. sudo systemctl enable kube-proxy
  4. # 之后可以通过 status 来检查服务器运行状态
  5. systemctl status kube-proxy

node 节点设置完成后， 如果 master 节点上有 kubernetes 的命令行管理软件 kubectl ，就可以使用kubectl 查看到新增加的节点。kubectl 的二进制文件可以从 kubernetes-server-linux-amd64.tar.gz 中找到。

</>复制代码 
  1. sudo cp kubernetes/server/bin/kubectl /usr/bin/
  2. sudo chmod +x /usr/bin/kubectl
  3. kubectl get node
  4. # 输出为
  5. # NAME      STATUS     AGE       VERSION
  6. # u16-2     NotReady   17m       v1.6.0

这时可以看到新增加的节点 u16-2 的状态为 NotReady，通过命令来查看 node 状态

</>复制代码 
  1. kubectl describe node u16-2

这时可以在 Events: 中看到一条报错，Massage是

</>复制代码 
  1. Failed to start ContainerManager failed to initialise top level QOS containers: root container /kubepods doesn"t exist

解决办法参考这里，在kubelet 的启动参数中加上下面参数并重启

</>复制代码 
  1.     --cgroups-per-qos=false
  2.     --enforce-node-allocatable=""

重启后 node 变为 Ready 状态。

在 Kubernetes 集群上运行服务 创建示例服务 
</>复制代码 
  1. # 在集群上运行 kubernetes-bootcamp 镜像
  2. kubectl run kubernetes-bootcamp --image=gcr.io/google-samples/kubernetes-bootcamp:v1 --port=8080
  3. # 因为上面命令中的镜像位置在国内可能也无法正常访问 所以可以将其替换为 dockerhub 上相同的镜像 jocatalin/kubernetes-bootcamp:v1
  4. kubectl run kubernetes-bootcamp --image=jocatalin/kubernetes-bootcamp:v1 --port=8080
  5. # 检查 deployment 运行状态
  6. kubectl get deployment
  7. # ---显示如下---
  8. NAME                  DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE
  9. kubernetes-bootcamp   1         0         0            0           4m
  10. # 当前的 Pod 数一直为0，检查一下 deployment 状态
  11. kubectl describe deployment kubernetes-bootcamp
  12. # Events 中最后的信息为 Scaled up replica set kubernetes-bootcamp-4025819334 to 1 ，再看一下 replicaSet 的状态
  13. kubectl describe replicaset kubernetes-bootcamp-4025819334

发现 Events 中的报错：

</>复制代码 
  1. Error creating: No API token found for service account "default", retry after the token is automatically created and added to the service account

解决方法参考这里，因为这里搭建的整个集群都是无安全认证的，所以将 api-server 中的 --admission_control 参数里的 ServiceAccount 删除，并重启 kube-apiserver 。

之后再次查看 deployment 状态

</>复制代码 
  1. kubectl get deployment
  2. # ---显示如下---
  3. NAME                  DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE
  4. kubernetes-bootcamp   1         1         1            0           18m

这次 pod 成功创建了，但仍然不是 AVAILABLE 状态。

</>复制代码 
  1. # 查看现有的 pod 
  2. kubectl get pod
  3. # ---显示如下---
  4. NAME                                   READY     STATUS              RESTARTS   AGE
  5. kubernetes-bootcamp-4025819334-q61xj   0/1       ContainerCreating   0          5m
  6. # 查看这个 Pod 的详细信息
  7. kubectl describe pod kubernetes-bootcamp-4025819334-q61xj
  8. # 在Events 里看到了错误信息：
  9. # Error syncing pod, skipping: failed to "CreatePodSandbox" for "kubernetes-bootcamp-4025819334-q61xj_default(1d20e7af-af48-11e8-bf2f-000c29a01556)" with CreatePodSandboxError: "CreatePodSandbox for pod "kubernetes-bootcamp-4025819334-q61xj_default(1d20e7af-af48-11e8-bf2f-000c29a01556)" failed: rpc error: code = 2 desc = unable to pull sandbox image "gcr.io/google_containers/pause-amd64:3.0": Error response from daemon: {"message":"Get https://gcr.io/v2/: net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers)"}"

根据信息可知错误是因为下载这个镜像失败：gcr.io/google_containers/pause-amd64:3.0 。还是网络环境的问题，这时可以在 dockerhub 上找到相同的镜像下载并修改 tag 来得到这个镜像。

在 node 节点上执行

</>复制代码 
  1. sudo docker image pull mirrorgooglecontainers/pause-amd64:3.0
  2. sudo docker tag mirrorgooglecontainers/pause-amd64:3.0 gcr.io/google_containers/pause-amd64:3.0

镜像下载好之后再次查看 deployment 状态：

</>复制代码 
  1. kubectl get deployment
  2. # ---显示如下---
  3. NAME                  DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE
  4. kubernetes-bootcamp   1         1         1            1           35m
在节点上暴露端口

此时服务已经部署正确，为了集群外部也能够访问到服务，现在需要使用 NodePort 方式将端口暴露出来。

</>复制代码 
  1. kubectl expose deployment/kubernetes-bootcamp --type="NodePort" --port 8080
  2. kubectl get service
  3. # ---输出如下---
  4. NAME                  CLUSTER-IP        EXTERNAL-IP   PORT(S)          AGE
  5. kubernetes            169.169.0.1               443/TCP          2d
  6. kubernetes-bootcamp   169.169.210.120          8080:10412/TCP   12m

此时 node 上的 10412 端口已经打开（这里的 10412 端口是在 kube-apiserver 启动参数 --service-node-port-range 范围内随机分配的），并且在 node 本机上是可以访问的。但是集群外部访问就会超时，包括没有安装 kube-proxy 的 master 访问也会超时。解决办法参考这里。

</>复制代码 
  1. 为了安全起见， docker 在 1.13 版本之后，将系统iptables 中 FORWARD 链的默认策略设置为 DROP，并为连接到 docker0 网桥的容器添加了放行规则。

知道了原因是 docker 启动时修改了iptables 规则后，可以修改 docker 的服务文件 /lib/systemd/system/docker.service 添加下面内容

</>复制代码 
  1. ExecStartPost=/sbin/iptables -P FORWARD ACCEPT

含义为在启动 docker 之后，修改 FORWARD 链的默认规则为 ACCEPT。配置完成之后重启 docker 。此时外部就可以访问了。

至此，一个单 master 单 node 的非安全 kubernets 集群已经配置完成，并且基础功能可以正常使用。

云服务器 GPU云服务器 手动安装nodejs java手动安装 lnmp手动安装步骤 k8s安装

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/32713.html

相关文章

  • 循序渐进的手动安装k8s笔记-2

    摘要：启动并设置为开机自启动安装服务这部分配置与上一篇笔记完全相同。我们创建这个文件并填入如下内容安装完和之后将其启动并设置为开机自启动以上，角色的功能已经安装完成。 上一篇笔记中，我尝试了使用 k8s 1.6 版本安装一个最简单的集群。这一次，我希望能够增加 node 的数量并且安装网络插件，然后配置内部的域名解析功能。 在起初的设想中，我仍然希望不配置各个组件间的认证，只关心功能的正常运...

    pingink 评论0 收藏0

  • 快收藏！52篇25万字，微服务、云原生、容器、K8S、Serverless精华文章集锦

    摘要：正在走远，新年之初，小数精选过去一年阅读量居高的技术干货，从容器到微服务云原生，汇集成篇精华集锦，充分反映了这一年的技术热点走向。此文值得收藏，方便随时搜索和查看。，小数将继续陪伴大家，为朋友们奉献更有逼格的技术内容。 2017正在走远，新年之初，小数精选过去一年阅读量居高的技术干货，从容器、K8S 到微服务、云原生、Service Mesh，汇集成52篇精华集锦，充分反映了这一年的技...

    AaronYuan 评论0 收藏0

  • k8s安装总结

    摘要：主要在文件附加下面的源我使用的是阿里的镜像，如果你使用的其他国内镜像，请找对应的镜像源然后执行下列命令，安装软件。参考资料只要用小朋友都能部署基本安装基于阿里云镜像站安装用在上快速构建测试集群 本次安装环境是Ubuntu16.04，其他环境下，shell命令会有一些不同，但步骤应该大致相同，默认docker已经安装完成 下载 下载安装下列软件 kubelet Node上运行的节点代理...

    Nosee 评论0 收藏0

  • microk8s安装过程中遇到的几个问题

    摘要：问题安装过程中部分镜像需要从的镜像仓库拉取但是国内无法访问其镜像仓库故需要手动获取镜像再自行安装从官方提供的仓库获取不是使用的宿主机器的进程故不能简单的把自己获取的镜像重新来完成安装需要导出之后然后使用提供的镜像管理功能进行导入解决原理获取 问题 microk8s安装过程中,部分镜像需要从google的镜像仓库拉取,但是国内无法访问其镜像仓库, 故需要手动获取镜像再自行安装(从官方提...

    DC_er 评论0 收藏0

发表评论

登陆后可评论

0条评论

CoderDock

男|高级讲师
我要私信

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<