React搭建个人博客（二）consul-template+nginx+docker实现负载均衡

摘要：前两个数据业务相关的服务即下图的，第三个项目就是的实现的负载均衡。这里后台，前台项目各启动了三个实例，用户访问的时候，就会根据配置的负载均衡的策略，访问其中一个。这一部分与之前我转发的实现服务发现及网关其实也只是差了个网关和负载均衡。

上一篇只讲了博客的前端问题，这一篇讲一下后端的微服务搭建。项目的后端使用的thinkjs框架，在我之前的博客中已经写过，这里就不重点说明了。
后端项目分为三个：

博客前台页面服务端:在这里。

博客后台页面服务端：在这里。

consul-template+nginx实现的基于微服务注册发现的负载均衡：在这里。

前两个数据业务相关的服务即下图的service_web，第三个项目就是consul-template+nginx的实现的负载均衡。
如果对consul基础概念不了解，建议读完我博客里这两篇文章再继续看下面的内容。
consul+docker实现服务注册。
consul+docker实现服务发现及网关。
首先看下架构图：

架构图解析

consul-template会订阅consul注册中心上的服务消息，当service-web改变时，consul注册中心会将新的service web信息推送给consul-template，consul-template会修改nginx配置文件，nginx重载入配置后，就达到了可以自动修改更新的负载均衡。

Consul-Template是基于Consul的自动替换配置文件的应用。在Consul-Template没出现之前，大家构建服务发现系统大多采用的是Zookeeper、Etcd+Confd这样类似的系统。

使用场景：可以查询Consul中的服务目录、Key、Key-values等。这种强大的抽象功能和查询语言模板可以使Consul-Template特别适合动态的创建配置文件。例如：创建Apache/Nginx Proxy Balancers、Haproxy Backends、Varnish Servers、Application Configurations等。

当consul注册中心的的服务改变时，consul-template会根据nginx-consul-template重新生成nginx.conf。首先看一下nginx.conf.ctmpl的代码：

nginx.conf.ctmpl

upstream admin {
  {{range service "service-admin"}}server {{.Address}}:{{.Port}} max_fails=3 fail_timeout=60 weight=1;
  {{else}}server 127.0.0.1:65535; # force a 502{{end}}
}
upstream app {
  {{range service "service-web"}}server {{.Address}}:{{.Port}} max_fails=3 fail_timeout=60 weight=1;
  {{else}}server 127.0.0.1:65535; # force a 502{{end}}
}

server {
  listen 80 default_server;
# 映射博客后台管理服务
  location  /admin{
    proxy_pass http://admin/;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_set_header Host $host;
    proxy_set_header X-Real-IP $remote_addr;
  }
   #请求博客后台服务的静态资源 
   location  ^~/static/blog-backend-react{
    proxy_pass http://admin/static/blog-backend-react;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_set_header Host $host;
    proxy_set_header X-Real-IP $remote_addr;
  }
 #请求博客前台服务的静态资源 
location  ^~/static/blog-react{
    proxy_pass http://app/static/blog-react;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_set_header Host $host;
    proxy_set_header X-Real-IP $remote_addr;
  }
 # 接口请求，映射博客前台服务
  location  /font{
    proxy_pass http://app;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_set_header Host $host;
    proxy_set_header X-Real-IP $remote_addr;
  }
  # 接口请求，映射博客后台服务
  location  /api{
    proxy_pass http://admin/api;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_set_header Host $host;
    proxy_set_header X-Real-IP $remote_addr;
  }
  # 默认映射到博客前端服务
    location  / {
    proxy_pass http://app;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_set_header Host $host;
    proxy_set_header X-Real-IP $remote_addr;
  }
}

template与正常nginx.conf区别就是upstream里部分，根据服务名——这里是两个服务，self-blog-backend博客后台管理服务与self-blog-fontend博客前台服务——动态生成服务对应的ip。
template的反向代理部分，与正常nginx配置一致，因为有两个项目，所以每个url请求接口，静态资源，服务，都需要映射到特定的服务。
服务启动后，根据模版生成的nginx配置文件如下：

upstream admin {
  server 172.25.0.7:8362 max_fails=3 fail_timeout=60 weight=1;
  server 172.25.0.8:8362 max_fails=3 fail_timeout=60 weight=1;
   server 172.25.0.11:8362 max_fails=3 fail_timeout=60 weight=1;
}
upstream app {
  server 172.25.0.4:8365 max_fails=3 fail_timeout=60 weight=1;
  server 172.25.0.9:8365 max_fails=3 fail_timeout=60 weight=1;
  server 172.25.0.10:8365 max_fails=3 fail_timeout=60 weight=1;
}

server {
 ....
}

可以看到，upstream里，根据服务名已经找到了对应的ip。这里后台，前台项目各启动了三个实例，用户访问的时候，就会根据配置的nginx负载均衡的策略，访问其中一个ip。

nginx.service

用于启动nginx服务

#!/bin/sh
# 启动nginx
# daemon off 关闭守卫进程,保证nginx前台运行
nginx -c /etc/nginx/nginx.conf -t && 
  nginx -c /etc/nginx/nginx.conf -g "daemon off;"

consul.template.service

用于启动consul-template

#!/bin/sh
# 启动consul-template,指定consul地址
# consul变化后，根据模板 nginx.conf ，生成nigix配置文件并reload
exec consul-template 
     -consul-addr=consul:8500 
     -template "/etc/consul-templates/nginx.conf:/etc/nginx/conf.d/app.conf:nginx -s reload"

Dockerfile

因为整个负载均衡服务需要做成镜像，与其他服务一起部署，所以这里需要维护Dockerfile

FROM nginx
 # 声明告诉系统，无需向用户请求输入（非交互式）
RUN DEBIAN_FRONTEND=noninteractive 
    # 更新软件包列表
    apt-get update -qq && 
    # 安装 curl runit
    apt-get -y install curl runit && 
    # rm 删除，-r 全部删除子目录, -f 强制删除
    rm -rf /var/lib/apt/lists/*

ADD consul-template_0.19.4_linux_amd64.tgz /usr/local/bin/
# 将 nginx.service 放到指定文件夹，生成run文件
ADD nginx.service /etc/service/nginx/run
# 给所有人添加文件的可执行权限
RUN chmod a+x /etc/service/nginx/run
ADD consul-template.service /etc/service/consul-template/run
RUN chmod a+x /etc/service/consul-template/run

RUN rm -v /etc/nginx/conf.d/*
ADD nginx.conf /etc/consul-templates/nginx.conf
# 使用runit ,当 runsvdir在/etc/service/目录中发现新的配置时，
# 启动runsv进程来执行和监控/etc/service下的run脚本
CMD ["/usr/bin/runsvdir", "/etc/service"]

维护好之后，就可以制作自己的nginx-consul-template镜像了。

博客后台与前台服务端项目github上，都有自己的Dockerfile,将他们做成镜像后，与nginx-consul-template镜像一起，通过docker-compose统一部署这几个服务。

version: "2.0"
services:
    consulserver:
        image: progrium/consul:latest
        hostname: consulserver
        ports:
            - "8300"
            - "8400"
            - 8500:8500
            - "53"
        command: -server -ui-dir /ui -data-dir /tmp/consul --bootstrap-expect=3
    consulserver1:
        image: progrium/consul:latest
        hostname: consulserver1
        depends_on:
            - consulserver
        ports:
            - "8300"
            - "8400"
            - "8500"
            - "53"
        command: -server -data-dir /tmp/consul -join consulserver
    consulserver2:
        image: progrium/consul:latest
        hostname: consulserver2
        depends_on:
            - consulserver
        ports:
            - "8300"
            - "8400"
            - "8500"
            - "53"
        command: -server -data-dir /tmp/consul -join consulserver
    registrator:
        image: gliderlabs/registrator:master
        hostname: registrator
        depends_on:
            - consulserver
        volumes:
            - /var/run/docker.sock:/tmp/docker.sock
        command: -internal consul://consulserver:8500
    serviceadmin1:
        image: daocloud.io/sunxing102005/self-blog-backend:latest
        depends_on:
            - consulserver
        environment:
            SERVICE_8362_NAME: service-admin
        ports:
            - 3002:3002
            - "8362"
    serviceweb1:
        image: daocloud.io/sunxing102005/self-blog-fontend:latest
        depends_on:
            - consulserver
        environment:
            SERVICE_8365_NAME: service-web
        ports:
            - 3005:3005
            - "8365"
    lb:
        image: daocloud.io/sunxing102005/consul-template-nginx-blog:latest
        hostname: lb
        links:
            - consulserver:consul
        ports:
            - 80:80

运行命令，启动服务

docker-compose up -d

运行后，就可以从注册中心看到consul上注册的服务：

其中consul-template-nginx-blog就是lb，service-admin，service-web分别是博客的前台，后台服务（3002,3005两个服务是留给prometheus抓数据用的，不用在意）因为这里各只启动了一个实例，所以他们每个只有一个服务。下面看下nginx的效果

访问默认80端口，直接访问博客前端服务

访问80端口加上admin后缀，就会跳到博客管理网站。

这里放一些开发过程中，自己记录的一些问题和知识点。

docker ps                                  //查看consul-template-nginx容器id
docker exec -it exec 22fff6c360f1 /bin/sh // 进入容器
cat /etc/nginx/conf.d/app.conf           //查看文件

docker容器后台运行时，前台必须有一个前台进程。
容器运行的命令，如果不是一直挂起的就会自动退出。
nginx是后台进程模式运行，导致没有前台运行的应用，他就会立即退出应用。
解决方法：

将你要运行的容器以前台形式运行，关闭守卫进程

nginx -g " daemon off"

添加tail,top这种可以前台运行的程序，推荐使用tail,然后持续输出log

service nginx start && tail -f /var/log/nginx/error.log

upstream admin {
  {{range service "service-admin"}}server {{.Address}}:{{.Port}} max_fails=3 fail_timeout=60 weight=1;
  {{else}}server 127.0.0.1:65535; # force a 502{{end}}
}
upstream app {
  {{range service "service-web"}}server {{.Address}}:{{.Port}} max_fails=3 fail_timeout=60 weight=1;
  {{else}}server 127.0.0.1:65535; # force a 502{{end}}
}

server {
  listen 80 default_server;

  location  /admin{
    proxy_pass http://admin/;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_set_header Host $host;
    proxy_set_header X-Real-IP $remote_addr;
  }

location匹配的如果不是/ ，如果想跳转到这个服务的根目录，里面proxy_pass定义的url，后面要加上/，比如这里匹配的 /admin，
proxy_pass是http://admin/，如果是http://admin，则反向代理的路径是http://XXXX:8362/admin，而不是8362服务的跟路径http://XXXX:8362。

nginx 服务器重启命令，关闭
nginx -s reload ：修改配置后重新加载生效
nginx -s reopen ：重新打开日志文件
nginx -t -c /path/to/nginx.conf 测试nginx配置文件是否正确

关闭nginx：
nginx -s stop :快速停止nginx
quit ：完整有序的停止nginx

其他的停止nginx 方式：

ps -ef | grep nginx

kill -QUIT 主进程号 ：从容停止Nginx
kill -TERM 主进程号 ：快速停止Nginx
pkill -9 nginx ：强制停止Nginx

 

启动nginx:
nginx -c /path/to/nginx.conf

平滑重启nginx：
kill -HUP 主进程号

前端每次请求，都token放到了request header里。之前header里设置的字段叫access_token，传不过去，发现nginx反向代理时，会忽略带下划线的header，所以改成了accesstoken。

启动        systemctl start docker
守护进程重启   sudo systemctl daemon-reload
重启docker服务   systemctl restart  docker
重启docker服务  sudo service docker restart
关闭docker   service docker stop   
关闭docker  systemctl stop docker

docker rm `docker ps -a -q` //删除所有容器
docker rmi `docker images -q` //删除所有镜像

//按条件删除镜像
    //没有打标签
docker rmi `docker images -q | awk "/^/ {print $3}"`
    //镜像关键字
docker rmi `docker images | grep doss api | awk "print $3"`

如果给所有人添加可执行权限：chmod a+x 文件名

如果给文件所有者添加可执行权限：chmod u+x 文件名

如果给所在组添加可执行权限：chmod g+x 文件名

如果给所在组以外的人添加可执行权限：chmod o+x 文件名

详细chmod命令，可参考这里。

通过ubuntu自带service，可以很方便创建后台运行程序。
service文件路径：/lib/systemd/ystem
service文件包含多个部分，下面是简单的后台运行的service文件。

启动服务

service leshan-erver start

停止服务

service leshan-erver stop

查看服务状态

systemctl status lenshan-server

重新加载service文件

systemctl daemon-reload

本篇主要讲解consul-template+nginx的负载均衡的实现，网上类似的讲解有很多,consul+nginx+consul-template构建简单微服务也是很基础常用的方案。这一部分与之前我转发的consul+docker实现服务发现及网关其实也只是差了个网关和负载均衡。稍微值得注意的是，本项目里，用到了两个业务层面的服务——博客前台与后台两个服务——而不是单体项目，稍微有点微服务的感觉了，把大项目拆开管理。所以nginx这部分就需要分别反向代理到两个项目里，这里请求接口，静态什么的，两个服务要有区分，让nginx有代理区分的标准。
至此博客的前端，后端微服务搭建都讲完了，有空的话下一篇讲一下daocloud平台部署和prometheus+grafana的监控系统。

https://www.jianshu.com/p/a4c...
http://blog.zongwu233.com/Con...