Kubernetes集群的详细部署

Honwhy 发布于2019-07-01 16:49 / 2604人阅读

摘要：部署为生成证书生成证书分发证书下载软件包复制到节点复制对应脚本到目录下。

一、集群机器

linux-node1：192.168.56.11     ---master
部署的服务：
etcd
kube-apiserver
kube-controller-manager
kube-scheduler
docker

linux-node2：192.168.56.12      ---node
部署的服务：
etcd
kubelet
kube-proxy
docker

linux-node3：192.168.56.13      ---node
部署的服务：
etcd
kubelet
kube-proxy
docker

二、环境准备

1、设置主机名

hostnamectl set-hostname linux-node1
hostnamectl set-hostname linux-node2
hostnamectl set-hostname linux-node3
----------
2、设置部署节点到其它所有节点的SSH免密码登(包括本机)

[root@linux-node1 ~]# ssh-keygen -t rsa
[root@linux-node1 ~]# ssh-copy-id linux-node1
[root@linux-node1 ~]# ssh-copy-id linux-node2
[root@linux-node1 ~]# ssh-copy-id linux-node3
----------
3、绑定主机host

cat > /etc/hosts </dev/null 2>&1

#vim  /etc/profile   高亮显示
export PS1="[e]0;a]
[e[1;32m][e[1;33m]H[e[1;35m]<$(date +"%Y-%m-%d %T")> [e[32m]w[e[0m]
u>$ "

#设置时区
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

#SSH登录慢
sed -i "s/#UseDNS yes/UseDNS no/"  /etc/ssh/sshd_config
sed -i "s/GSSAPIAuthentication yes/GSSAPIAuthentication no/"  /etc/ssh/sshd_config
systemctl restart sshd.service

三、正式安装 1.安装Docker(三台机器都要操作)

第一步：使用国内Docker源

cd /etc/yum.repos.d/
wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

第二步：Docker安装

yum install -y docker-ce

第三步：启动后台进程

[root@linux-node2 ~]# systemctl start docker
[root@linux-node2 ~]# systemctl enable docker
Created symlink from /etc/systemd/system/multi-user.target.wants/docker.service to /usr/lib/systemd/system/docker.service.

2.安装k8s

1.准备部署目录
   
[root@linux-node1 ~]# mkdir -p /opt/kubernetes/{cfg,bin,ssl,log}

#添加环境变量
[root@linux-node1 ~]# echo "PATH=$PATH:/opt/kubernetes/bin" >> /etc/profile
[root@linux-node1 ~]# source /etc/profile
或者
[root@linux-node1 ~]# vim .bash_profile
PATH=$PATH:$HOME/bin:/opt/kubernetes/bin
[root@linux-node1 ~]# source .bash_profile

2.准备软件包

#github下载链接

https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG-1.10.md#server-binaries

wget https://storage.googleapis.com/kubernetes-release/release/v1.10.8/kubernetes-server-linux-amd64.tar.gz

wget https://storage.googleapis.com/kubernetes-release/release/v1.10.8/kubernetes-client-linux-amd64.tar.gz

wget https://storage.googleapis.com/kubernetes-release/release/v1.10.8/kubernetes-node-linux-amd64.tar.gz

wget https://storage.googleapis.com/kubernetes-release/release/v1.10.8/kubernetes.tar.gz

3.解压软件包

tar -zxvf kubernetes.tar.gz -C /usr/local/src/
tar -zxvf kubernetes-server-linux-amd64.tar.gz -C /usr/local/src/
tar -zxvf kubernetes-client-linux-amd64.tar.gz -C /usr/local/src/
tar -zxvf kubernetes-node-linux-amd64.tar.gz -C /usr/local/src/

3.手动制作CA证书（只在master上进行即可）

1.安装 CFSSL

[root@linux-node1 ~]# cd /usr/local/src
[root@linux-node1 src]# wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64
[root@linux-node1 src]# wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64
[root@linux-node1 src]# wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64
[root@linux-node1 src]# chmod +x cfssl*
[root@linux-node1 src]# mv cfssl-certinfo_linux-amd64 /opt/kubernetes/bin/cfssl-certinfo
[root@linux-node1 src]# mv cfssljson_linux-amd64  /opt/kubernetes/bin/cfssljson
[root@linux-node1 src]# mv cfssl_linux-amd64  /opt/kubernetes/bin/cfssl

#复制cfssl命令文件到k8s-node1和k8s-node2节点。如果实际中多个节点，就都需要同步复制。

[root@linux-node1 ~]# scp /opt/kubernetes/bin/cfssl* 192.168.56.12:/opt/kubernetes/bin
[root@linux-node1 ~]# scp /opt/kubernetes/bin/cfssl* 192.168.56.13:/opt/kubernetes/bin

2.初始化cfssl

[root@linux-node1 src]# mkdir ssl && cd ssl
[root@linux-node1 ssl]# cfssl print-defaults config > config.json   --生成ca-config.json的样例(可省略)
[root@linux-node1 ssl]# cfssl print-defaults csr > csr.json  --生成ca-csr.json的样例(可省略)

3.创建用来生成 CA 文件的 JSON 配置文件
[root@linux-node1 ssl]#
cat > ca-config.json < ca-csr.json <
4.手动部署ETCD集群
0.准备etcd软件包

wget https://github.com/coreos/etcd/releases/download/v3.2.18/etcd-v3.2.18-linux-amd64.tar.gz

[root@linux-node1 src]# tar zxf etcd-v3.2.18-linux-amd64.tar.gz
[root@linux-node1 src]# cd etcd-v3.2.18-linux-amd64
[root@linux-node1 etcd-v3.2.18-linux-amd64]# cp etcd etcdctl /opt/kubernetes/bin/ 
[root@linux-node1 etcd-v3.2.18-linux-amd64]# scp etcd etcdctl 192.168.56.12:/opt/kubernetes/bin/
[root@linux-node1 etcd-v3.2.18-linux-amd64]# scp etcd etcdctl 192.168.56.13:/opt/kubernetes/bin/

1.创建 etcd 证书签名请求：

[root@linux-node1]# cd /usr/local/src/ssl

cat > etcd-csr.json <
5.Master节点部署
部署Kubernetes API服务部署
0.准备软件包

[root@linux-node1 ~]# cd /usr/local/src/kubernetes
[root@linux-node1 kubernetes]# cp server/bin/kube-apiserver /opt/kubernetes/bin/
[root@linux-node1 kubernetes]# cp server/bin/kube-controller-manager /opt/kubernetes/bin/
[root@linux-node1 kubernetes]# cp server/bin/kube-scheduler /opt/kubernetes/bin/

1.创建生成CSR的 JSON 配置文件
[root@linux-node1 ~]# cd /usr/local/src/ssl
[root@linux-node1 src]# vim kubernetes-csr.json
cat > kubernetes-csr.json <
部署Controller Manager服务
[root@linux-node1 ~]# vim /usr/lib/systemd/system/kube-controller-manager.service
[Unit]
Description=Kubernetes Controller Manager
Documentation=https://github.com/GoogleCloudPlatform/kubernetes

[Service]
ExecStart=/opt/kubernetes/bin/kube-controller-manager 
  --address=127.0.0.1 
  --master=http://127.0.0.1:8080 
  --allocate-node-cidrs=true 
  --service-cluster-ip-range=10.1.0.0/16 
  --cluster-cidr=10.2.0.0/16 
  --cluster-name=kubernetes 
  --cluster-signing-cert-file=/opt/kubernetes/ssl/ca.pem 
  --cluster-signing-key-file=/opt/kubernetes/ssl/ca-key.pem 
  --service-account-private-key-file=/opt/kubernetes/ssl/ca-key.pem 
  --root-ca-file=/opt/kubernetes/ssl/ca.pem 
  --leader-elect=true 
  --v=2 
  --logtostderr=false 
  --log-dir=/opt/kubernetes/log

Restart=on-failure
RestartSec=5

[Install]
WantedBy=multi-user.target

3.启动Controller Manager

[root@linux-node1 ~]# systemctl daemon-reload
[root@linux-node1 scripts]# systemctl enable kube-controller-manager
[root@linux-node1 scripts]# systemctl start kube-controller-manager

4.查看服务状态

[root@linux-node1 scripts]# systemctl status kube-controller-manager
部署Kubernetes Scheduler
[root@linux-node1 ~]# vim /usr/lib/systemd/system/kube-scheduler.service
[Unit]
Description=Kubernetes Scheduler
Documentation=https://github.com/GoogleCloudPlatform/kubernetes

[Service]
ExecStart=/opt/kubernetes/bin/kube-scheduler 
  --address=127.0.0.1 
  --master=http://127.0.0.1:8080 
  --leader-elect=true 
  --v=2 
  --logtostderr=false 
  --log-dir=/opt/kubernetes/log

Restart=on-failure
RestartSec=5

[Install]
WantedBy=multi-user.target

2.部署服务

[root@linux-node1 ~]# systemctl daemon-reload
[root@linux-node1 scripts]# systemctl enable kube-scheduler
[root@linux-node1 scripts]# systemctl start kube-scheduler
[root@linux-node1 scripts]# systemctl status kube-scheduler
部署kubectl 命令行工具
1.准备二进制命令包

[root@linux-node1 ~]# cd /usr/local/src/kubernetes/client/bin
[root@linux-node1 bin]# cp kubectl /opt/kubernetes/bin/
#需要将kubectl复制到node节点
[root@linux-node1 bin]# scp /opt/kubernetes/bin/kubectl linux-node2:/opt/kubernetes/bin/
[root@linux-node1 bin]# scp /opt/kubernetes/bin/kubectl linux-node3:/opt/kubernetes/bin/

2.创建 admin 证书签名请求

[root@linux-node1 ~]# cd /usr/local/src/ssl/
[root@linux-node1 ssl]# 
cat > admin-csr.json <
6.Node节点部署
部署kubelet
1.二进制包准备 将软件包从linux-node1复制到linux-node2中去。

[root@linux-node1 ~]# cd /usr/local/src/kubernetes/server/bin/
[root@linux-node1 bin]# cp kubelet kube-proxy /opt/kubernetes/bin/
[root@linux-node1 bin]# scp kubelet kube-proxy 192.168.56.12:/opt/kubernetes/bin/
[root@linux-node1 bin]# scp kubelet kube-proxy 192.168.56.13:/opt/kubernetes/bin/

2.创建角色绑定

[root@linux-node1 ~]# kubectl create clusterrolebinding kubelet-bootstrap --clusterrole=system:node-bootstrapper --user=kubelet-bootstrap
clusterrolebinding "kubelet-bootstrap" created

3.创建 kubelet bootstrapping kubeconfig 文件 设置集群参数

[root@linux-node1 ~]# kubectl config set-cluster kubernetes 
   --certificate-authority=/opt/kubernetes/ssl/ca.pem 
   --embed-certs=true 
   --server=https://192.168.56.11:6443 
   --kubeconfig=bootstrap.kubeconfig
Cluster "kubernetes" set.

设置客户端认证参数

[root@linux-node1 ~]# kubectl config set-credentials kubelet-bootstrap 
   --token=ad6d5bb607a186796d8861557df0d17f 
   --kubeconfig=bootstrap.kubeconfig   
User "kubelet-bootstrap" set.

设置上下文参数

[root@linux-node1 ~]# kubectl config set-context default 
   --cluster=kubernetes 
   --user=kubelet-bootstrap 
   --kubeconfig=bootstrap.kubeconfig
Context "default" created.

选择默认上下文

[root@linux-node1 ~]# kubectl config use-context default --kubeconfig=bootstrap.kubeconfig
Switched to context "default".
[root@linux-node1 kubernetes]# cp bootstrap.kubeconfig /opt/kubernetes/cfg
[root@linux-node1 kubernetes]# scp bootstrap.kubeconfig 192.168.56.12:/opt/kubernetes/cfg
[root@linux-node1 kubernetes]# scp bootstrap.kubeconfig 192.168.56.13:/opt/kubernetes/cfg

在node节点上操作,部署kubelet 1.设置CNI支持

[root@linux-node2 ~]# mkdir -p /etc/cni/net.d
[root@linux-node2 ~]# vim /etc/cni/net.d/10-default.conf
cat > /etc/cni/net.d/10-default.conf <0{print $1}"| xargs kubectl certificate approve
成功后是Approved的状态
[root@linux-node1 bin]# kubectl get csr
NAME                                                   AGE       REQUESTOR           CONDITION
node-csr-IPMSFbKvwgq2icOeIo2v_WA-qb8QCyA7MT5h4eDmjxg   2m        kubelet-bootstrap   Approved,Issued

执行完毕后，查看节点状态已经是Ready的状态了 
[root@linux-node1 ~]# kubectl get node
NAME            STATUS    ROLES     AGE       VERSION
192.168.56.12   Ready         2m        v1.10.8

部署Kubernetes Proxy
1.配置kube-proxy使用LVS

[root@linux-node2 ~]# yum install -y ipvsadm ipset conntrack

2.创建 kube-proxy 证书请求

[root@linux-node1 ~]# cd /usr/local/src/ssl/
[root@linux-node1 ~]# vim kube-proxy-csr.json
cat > kube-proxy-csr.json < RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.1.0.1:443 rr persistent 10800
  -> 192.168.56.11:6443           Masq    1      0          0         

如果你在两台实验机器都安装了kubelet和proxy服务，使用下面的命令可以检查状态：

[root@linux-node1 ssl]#  kubectl get node
NAME            STATUS    ROLES     AGE       VERSION
192.168.56.12   Ready         22m       v1.10.1
192.168.56.13   Ready         3m        v1.10.1

linux-node3节点请自行部署。

7.Flannel部署
1.为Flannel生成证书

[root@linux-node1 ~]# vim flanneld-csr.json
cat > flanneld-csr.json <
8.应用创建
1.创建一个测试用的deployment

[root@linux-node1 ~]# kubectl run net-test --image=alpine --replicas=2 sleep 360000

2.查看获取IP情况

[root@linux-node1 ~]# kubectl get pod -o wide
NAME                        READY     STATUS    RESTARTS   AGE       IP          NODE
net-test-74f45db489-gmgv8   1/1       Running   0          1m        10.2.83.2   192.168.56.13
net-test-74f45db489-pr5jc   1/1       Running   0          1m        10.2.59.2   192.168.56.12

3.测试联通性(在对应的node节点去测试)

ping 10.2.83.2

云服务器 GPU云服务器 Kubernetes集群管理Kubernetes集群云主机部署详细步骤云vps部署详细步骤

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/32726.html

Kubernetes的几种主流部署方式02-kubeadm部署1.14版本高可用集群

摘要：所以，选择把运行直接运行在宿主机中，使用容器部署其他组件。独立部署方式所需机器资源多按照集群的奇数原则，这种拓扑的集群关控制平面最少就要台宿主机了。在上篇文章minikube部署中，有提到Minikube部署Kubernetes的核心就是Kubeadm，这篇文章来详细说明下Kubeadm原理及部署步骤。写这篇文章的时候，Kubernetes1.14刚刚发布，所以部署步骤以1.14版为...

atinosun 2019-06-28 17:11 评论0 收藏0
Kubernetes的几种主流部署方式02-kubeadm部署1.14版本高可用集群

摘要：所以，选择把运行直接运行在宿主机中，使用容器部署其他组件。独立部署方式所需机器资源多按照集群的奇数原则，这种拓扑的集群关控制平面最少就要台宿主机了。在上篇文章minikube部署中，有提到Minikube部署Kubernetes的核心就是Kubeadm，这篇文章来详细说明下Kubeadm原理及部署步骤。写这篇文章的时候，Kubernetes1.14刚刚发布，所以部署步骤以1.14版为...

superw 2019-07-01 17:13 评论0 收藏0
Kubernetes的几种主流部署方式01-minikube部署

摘要：代表的解决方案为。虽然官网列出的部署方式很多，但也不用被这么多种部署方式搞糊涂了。虽然只是一条命令，但其实执行了很多步骤命令执行后输出如下可以看到，主要做了这些事创建了名为的虚拟机，并在虚拟机中安装了容器运行时。综述 Kubernetes集群的组件众多，要部署一套符合生产环境的集群不是一件容易的事。好在随着社区的快速发展，特别是在它成为事实上的容器编排标准以后，基本所有的主流云平台都...

Lionad-Morotar 2019-06-28 17:10 评论0 收藏0
Kubernetes的几种主流部署方式01-minikube部署

摘要：代表的解决方案为。虽然官网列出的部署方式很多，但也不用被这么多种部署方式搞糊涂了。虽然只是一条命令，但其实执行了很多步骤命令执行后输出如下可以看到，主要做了这些事创建了名为的虚拟机，并在虚拟机中安装了容器运行时。综述 Kubernetes集群的组件众多，要部署一套符合生产环境的集群不是一件容易的事。好在随着社区的快速发展，特别是在它成为事实上的容器编排标准以后，基本所有的主流云平台都...

浠ラ箍 2019-07-01 17:10 评论0 收藏0
Kubernetes集群的详细部署

摘要：部署为生成证书生成证书分发证书下载软件包复制到节点复制对应脚本到目录下。一、集群机器 linux-node1：192.168.56.11 ---master 部署的服务： etcd kube-apiserver kube-controller-manager kube-scheduler docker linux-node2：192.168.56.12 ---no...

qujian 2019-07-01 17:29 评论0 收藏0