京东云Kubernetes集群最佳实践

摘要：京东云集群最佳实践容器是的基石，它们之间的关系不言而喻。因此我们今天的文章将会和大家分享关于京东云集群的部分最佳实践。京东云集群采用管理节点全托管的方式，为用户提供简单易用高可靠功能强大的容器管理服务。

容器是Cloud Native的基石，它们之间的关系不言而喻。了解容器对于学习Cloud Native也是十分重要的。近期，京东云Cloud Native的“在线公开课”从理论和实践两个层面为大家分享了Cloud Native相关的技术知识。在本周的周日，我们还将迎来”Cloud Native时代的应用之路与开源创新“专场技术沙龙。

因此我们今天的文章将会和大家分享关于京东云Kubernetes集群的部分最佳实践。感兴趣的小伙伴也可以跟着文档自己动手进行创建。

京东云Kubernetes集群采用管理节点全托管的方式，为用户提供简单易用、高可靠、功能强大的容器管理服务。该产品完全兼容标准Kubernetes API ，集成京东云网络、存储等插件。Kubernetes集群服务简化了Kubernetes部署、管理，降低了Kubernetes使用门槛，增强应用的可靠性，提升开发的效率，同时，也能更好地帮助用户减少资源投入的成本。

最佳实践——部署应用

京东云Kubernetes集群服务集成了京东云云硬盘，您可以在集群中使用京东云云硬盘作为持久化存储；

使用京东云云盘定义静态存储

kind: PersistentVolume
apiVersion: v1
metadata:
  name: pv-static
  labels:
    type: jdcloud-ebs
spec:
  capacity:
    storage: 30Gi
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Retain
  jdcloudElasticBlockStore:
    volumeID: vol-ogcbkdjg7x
    fsType: xfs

参数说明：

1、如您需要在京东云Kubernetes集群服务中使用京东云云硬盘作为持久化存储，请在PersistentVolume定义时，指定插件jdcloudElasticBlockStore；

2、VolumeID：指定同地域下为Kubernetes集群服务提供持久化存储的云硬盘ID；

3、Fstype：指定文件系统类型；目前仅支持ext4和xfs两种；

4、Capacity：PV 将具有特定的存储容量。这是使用 PV 的容量属性设置的；

5、PersistentVolume 可以以资源提供者支持的任何方式挂载到主机上。

京东云云硬盘目前只支持一种模式ReadWriteOnce——该卷可以被单个节点以读/写模式挂载；

访问模式包括：
ReadWriteOnce——该卷可以被单个节点以读/写模式挂载

在命令行中，访问模式缩写为：
RWO - ReadWriteOnce
京东云为PersistentVolume提供了插件，插件类型为：jdcloudElasticBlockStore

注：

由于云硬盘限制一个云硬盘只能同时挂载一个云主机,在使用基于PVC的Pod时，建议使用replicas=1来创建一个部署集。StatefulSet可解决多副本问题。

Pod迁移，PVC迁移(卸载旧实例/挂载新实例)默认35秒。

通过Deployment部署，删除Deployment之后，可重新挂载原有PVC到新的Pod里面。

声明可以指定一个标签选择器来进一步过滤该组卷。只有标签与选择器匹配的卷可以绑定到声明。选择器由两个字段组成：

所有来自 MatchLabels 和 MatchExpressions 的要求都被“与”在一起——它们必须全部满足才能匹配。

本例使用MatchLabels作为过滤条件，将匹配的PersistentVolume绑定到Persistent Volume Claim。

MatchLabels：Volume 必须有具有该值的标签

matchExpressions：这是一个要求列表，通过指定关键字，值列表以及与关键字和值相关的运算符组成。有效的运算符包括 In、NotIn、Exists 和 DoesNotExist。

访问模式包括：ReadWriteOnce——该卷可以被单个节点以读/写模式挂载。

在命令行中，访问模式缩写为：RWO - ReadWriteOnce

京东云为Persistent Volume提供了插件，插件类型为：jdcloudElasticBlockStore

注：副本数只能指定1。

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pv-static-pvc
spec:
  accessModes:
    - ReadWriteOnce
  storageClassName: ""
  resources:
    requests:
      storage: 30Gi
  selector:
    matchLabels:
      type: jdcloud-ebs

创建Pod

kind: Pod

   apiVersion: v1
   metadata:
     name: pod-static
   spec:
     volumes:
       - name: pv-static
         persistentVolumeClaim:
           claimName: pv-static-pvc

  containers:
    - name: busybox-static
      image: busybox
      command:
         - sleep
         - "600"
      imagePullPolicy: Always
      volumeMounts:
        - mountPath: "/usr/share/mybusybox/"
          name: pv-static

使用京东云云盘定义动态存储

当集群中的静态 PV 都不匹配新建的 Persistent Volume Claim 时，集群可能会尝试动态地为 PVC 创建卷。

关于京东云云硬盘规格：

创建PVC

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pvc1
spec:
  accessModes:
    - ReadWriteOnce
  storageClassName: jdcloud-ssd
  resources:
    requests:
      storage: 20Gi

查看集群的PVC

kubectl get pvc

输出

NAME                                         STATUS    VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   AGE
pvc1                                         Bound     pvc-73d8538b-ebd6-11e8-a857-fa163eeab14b   20Gi       RWO            jdcloud-ssd    18s

查看集群的PV

kubectl get pv

输出

NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE
pvc-73d8538b-ebd6-11e8-a857-fa163eeab14b 20Gi RWO Delete Bound default/pvc1 jdcloud-ssd 2m

基于Storage Class jdcloud-ssd，为PVC创建了卷。一旦 PV 和 PVC 绑定后，Persistent Volume Claim 绑定是排他性的，不管它们是如何绑定的。 PVC 跟 PV 绑定是一对一的映射。

Kubernetes Service

Kubernetes Service定义了这样一种抽象：一个 Pod 的逻辑分组，一种可以访问它们的策略-通常称为微服务。这一组 Pod 能够被 Service 访问到，通常是通过 Label Selector（查看下面了解，为什么可能需要没有 Selector 的 Service）实现的。一个 Service 在 Kubernetes 中是一个REST对象，和Pod类似.像所有的 REST 对象一样， Service 定义可以基于 POST 方式，请求 API Server 创建新的实例。

京东云Kubernetes集成负载均衡服务，支持创建Load Balance类型的Service，为应用提供安全、可靠的网络。

创建的负载均衡会占用本地域的负载均衡配额，需要保证有足够配额。

1、创建支持Load Balance类型的Service，命名为myservice.yaml文件定义如下：

kind: Service
apiVersion: v1
metadata:
  name: servicetest
  labels:
    run: myapp
spec:
  ports:
    - protocol: TCP
      port: 80
      targetPort: 80
      nodePort: 30062
  type: LoadBalancer
  selector:
     run: myapp

2、执行Kubectl创建命令，创建一个Service；其中使用相应的YAML文件名称替换：

kubectl create -f myservice.yaml

3、创建一组Nginx Pod，mynginx.yaml文件定义如下：

apiVersion: apps/v1beta1
kind: Deployment
metadata:
  name: my-nginx
spec:
  selector:
    matchLabels:
      run: myapp
  replicas: 2
  template:
    metadata:
      labels:
        run: myapp
    spec:
      containers:
      - name: my-nginx
        image: nginx
        ports:
        - containerPort: 80

4、执行Kubectl创建命令，创建一个Deployment；其中使用相应的YAML文件名称替换

kubectl create -f mynginx.yaml

5、查看已创建成功的Deployment，执行以下命令：

kubectl get pods -l run=myapp -o wide

返回结果如下：

NAME       DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE
my-nginx   2         2         2            2           4m

6、查看相应的Pod运行状态，

kubectl get pods -l run=myapp -o wide

返回结果如下：

NAME                        READY     STATUS    RESTARTS   AGE       IP            NODE
my-nginx-864b5bfdc7-6297s   1/1       Running   0          23m       172.16.0.10   k8s-node-vmtwjb-0vy9nuo0ym
my-nginx-864b5bfdc7-lr7gq   1/1       Running   0          23m       172.16.0.42   k8s-node-vm25q1-0vy9nuo0ym

7、查看Service详情：

kubectl describe service servicetest
可以查看绑定到Service的Endpoints:

Name:                     servicetest
Namespace:                default
Labels:                   run=myapp
Annotations:              
Selector:                 run=myapp
Type:                     LoadBalancer
IP:                       172.16.61.58
LoadBalancer Ingress:     114.67.227.25
Port:                       80/TCP
TargetPort:               80/TCP
NodePort:                   30062/TCP
Endpoints:                172.16.0.10:80,172.16.0.42:80
Session Affinity:         None
External Traffic Policy:  Cluster
Events:
  Type     Reason                      Age                From                Message
  ----     ------                      ----               ----                -------
  Normal   EnsuringLoadBalancer        11m (x9 over 26m)  service-controller  Ensuring load balancer
  Normal   EnsuredLoadBalancer         10m                service-controller  Ensured load balancer

注：Load Balancer Ingress:114.67.227.25为外部公网IP

8、执行如下命令查询绑定到service的enpoints列表：

kubectl get ep servicetest
返回

NAME          ENDPOINTS                       AGE
servicetest   172.16.0.10:80,172.16.0.42:80   28m

9、在浏览器中输入与Service关联的Load Balance公网IP及端口，看到如下页面，即表明Nginx服务正常。

·END·