基于Docker的日志分析平台(三) 快速入门

摘要：是一个日志收集器，支持非常多的输入源和输出源。这个库支持展开文件路径，而且会记录一个叫的数据库文件来跟踪被监听的日志文件的当前读取位置。

对于Zookeeper我们用一条简单的命令来测试一下：

echo ruok|nc localhost 2181

你应该可以看到：

imok

Kafka 是由 Linked 开发并且开源的一套分布式的流平台，它类似于一个消息队列。 Kafka 的优势就是适合构建实时的流数据管道，并且可靠地获取系统和应用程序之间的数据， 还可以实时的对数据流进行转换。Kafka 的使用场景很多， 特别是在需要高吞吐量的系统上。首先来理解一下 Kafka 的几个基本的概念：

Topic， Kafka 将消息进行分类，每一类的消息称之为一个主题(Topic).

Producer， 发布消息的对象称之为主题生产者(Producer)

Consumer， 订阅消息并处理消息的对象称之为主题消费者(Consumers)

Broker， 已发布的消息保存在一组服务器中，称之为Kafka集群。集群中的每一个服务器都是一个代理(Broker)。 消费者可以订阅一个或多个主题（topic），并从Broker拉数据，从而消费这些已发布的消息。

我们可以登录到 Kafka 容器中，做一些简单的小测试，登录到容器中的命令:

docker-compose exec kafka bash

首先来创建一个名为test的 Topic ，只有一个分区和一个备份：

kafka-topics.sh --create --zookeeper zookeeper:2181 --replication-factor 1 --partitions 1 --topic test

创建好之后，可以通过运行以下命令，查看topic信息：

kafka-topics.sh --list --zookeeper zookeeper:2181

Kafka 默认有提供了一个命令行的工具用来发送消息，一行是一条消息，运行 Producer 然后输入一些信息：

kafka-console-producer.sh --broker-list localhost:9092 --topic test 

Kafka 也提供了一个消费消息的命令行工具，将存储的信息输出出来。

kafka-console-consumer.sh --zookeeper zookeeper:2181 --topic test --from-beginning

ElasticStack技术栈包括的三个软件，而且一开始就是5.0的大版本，主要目的是为了让其他的软件版本号一致，方便各个软件的对应。不过到现在已经发展到了6.0的版本了，我们这次就是用这个版本。具体的更新详细可以查看这里Elasticsearch，这里只说说基本的概念。

Elasticsearch之所以可以方便的进行查询过滤排序是因为和 MongoDB 一样存储的是整个文档，然后还会根据文档的内容进行索引，而且文档的格式用的还是很友好的 JSON，比如一个简单的用户对象可以这么表示：

{
    "name": "Xiao Ming",
    "phone": "10086",
    "age": "25",
    "info": {
        "site" : "https://sunnyshift.com"
        "likes": ["games", "music"]
    }
}

在 Elasticsearch 中有四个名词，索引(idnex)、类型(type)、文档(document)、字段(field)，这四个字段类似于数据库中的数据库(database), 表(table), 行(row), 列(column), Elasticsearch 可以包含多个索引，每个索引可以包含多个类型，每个类型可以包含多个文档，每个文档可以包含多个字段，把他想成数据库就行了。

我们来简单操作一下，先来创建一个索引，并且插入几条数据：

PUT /banji/xuesheng/1
{
    "name": "Xiao Ming",
    "age": "12"
}
PUT /banji/xuesheng/2
{
    "name": "Xiao Hong",
    "age": "16"
}

具体操作可以使用 Kibana 上面的 Dev Tools 来运行命令：

有了数据之后就可以来简单的检索一下：

这里只是介绍了一下简单的入门使用，之后可以像一些其他的操作比如过滤、组合、全文、啥的都不在话下，甚至还可以高亮搜索结果。

Logstash 是一个日志收集器，支持非常多的输入源和输出源。我们简单的整合一下 ElasticStack 这个技术栈，这里用 Nginx 的访问日志来测试一下。Logstash 最新的是有一个 Beats 的组件来收集数据，这里先不考虑而是使用传统的配置文件，我们会直接把配置写到配置文件中。

Logstash 使用一个名叫 FileWatch 的 Ruby Gem 库来监听文件变化。这个库支持 glob 展开文件路径，而且会记录一个叫 .sincedb 的数据库文件来跟踪被监听的日志文件的当前读取位置。

使用 Dcoker 后配置文件路径在logstash/config下，可以在该目录下放置多个配置文件，最后 Logstash 会帮我们合并成一个。先来定义一个读取 Nginx 访问日志的配置：

input {
    file {
        path => [ "/var/log/nginx/access.log"]
        type => "accesslog"
    }
}
 
output {
    # 输出到 elasticsearch，索引名为 access-log
    elasticsearch { 
        hosts => "localhost:9200"
        index => "access-log"
        user => "elastic"
        password => "changeme"
    }
}

要注意的是这里写的 Nginx 的路径是相对于 Logstash 容器的，所以要把该路径挂载到容器中。然后重启 Logstash 就可以去 Kibana 中查看日志了, 附上 Logstash 重启命令。如果一切正常，那么就可以去 Kibana 中日志了。

docker-compose stop logstash
docker-compose up -d logstash

Kibana 是一个可视化的 UI 界面，并且可以检索聚合分词搜索在 Elasticsearch 中的数据，并且还可以以非常精美的图标来展示统计数据。我们需要在 Management 页面中告诉 Kibana 我们刚才创建的 access-log 索引。

到这里就完成了收集 Nginx 系统日志并展示出来，对于 Kibana 还有很多用法，就不一一撰述了。