用Docker镜像搭建ELK环境

546669204 发布于2019-06-28 16:13 / 1623人阅读

摘要：之前在上尝试过搭建环境，并将或中的数据导入到中。现在用提供的镜像可以快速的完成这一操作。需要注意的是的需要设置为，如下图否则，连接数据库时会被拒绝连接。另外记得创建一个测试库和表，用于测试的导入功能。

之前在Windows上尝试过搭建ELK环境，并将MySQL或SQLServer中的数据导入到Elasticsearch中。现在用Docker提供的镜像可以快速的完成这一操作。

环境说明
系统：Windows 10 企业版
MySQL：MySQL 5.7（官方下载链接）
MySQL驱动：mysql-connector-java-5.1.44-bin.jar（官方下载链接）
Docker for Windows：Docker Community Edition for Windows（Docker官网下载）

MySQL的安装与设置
MySQL的安装与设置，请参照通过Logstash由MySQL和SQL Server向Elasticsearch导入数据。
需要注意的是：root的From Host需要设置为%，如下图：

否则，logstash连接数据库时会被拒绝连接。
另外记得创建一个测试库和表，用于测试logstash的导入功能。

docker-compose.yml
创建一个空的文件夹，用于存储用到的配置文件和驱动程序。如：C:RunDockerELK（后面简称该文件夹）
然后在该文件夹下创建docker-compose.yml，并进行编辑，内容如下：

version: "2.2"
services:
 elasticsearch:
   image: elasticsearch
   ports: 
   - "9200:9200"
   - "9300:9300"
 kibana:
   image: kibana
   ports:
   - "5601:5601"
   links:
   - elasticsearch
   depends_on:
   - elasticsearch
 logstash:
   image: logstash
   links:
   - elasticsearch
   volumes:
   - ./:/configdir
   command: logstash -f /configdir/mysql.conf
   depends_on:
   - elasticsearch

mysql.conf
在该文件夹下创建mysql.conf，并进行编辑，内容如下：

input {
   jdbc {
       jdbc_driver_library => "/configdir/mysql-connector-java-5.1.44-bin.jar"
       jdbc_driver_class => "com.mysql.jdbc.Driver"
       jdbc_connection_string => "jdbc:mysql://123.12.1.123:3306/forelk?autoReconnect=true&useSSL=false"
       jdbc_user => "root"
       jdbc_password => "123qwe4r"
       schedule => "* * * * *"
       jdbc_default_timezone => "Asia/Shanghai"
       statement => "SELECT * FROM elktable;"
   }
}
output {
   elasticsearch {
       index => "elkdb"
       document_type => "elktable"
       document_id => "%{elkid}"
       hosts => ["123.12.1.123:9200"]
   }
}

说明：
IP123.12.1.123需要替换成你本地的IP；
123qwe4r需要替换成你本地MySQL的密码；
任务计划schedule => "* * * * *"的值根据自己的需求进行更改；

驱动程序
将下载好的驱动程序mysql-connector-java-5.1.44-bin.jar拷贝到该文件夹。

启动
通过Docker的Kitematic左下角的DOCKER CLI启动PowerShell工具，然后进入到该文件夹，执行命令：docker-compose up即可看到Elasticsearch、Kibana、Logstash的容器依次启动。在PowerShell里可以看到导入数据的操作记录，如下图：

然后在本地服务器访问http://localhost:5601，在Dev Tools下执行查询命令，即可看到导入的结果，如下图：

如果遇到其他问题，请自行谷歌百度。
如需转载，请注明原文链接：https://segmentfault.com/a/11...

GPU云服务器云服务器 docker环境搭建 docker搭建开发环境 docker搭建java环境 docker搭建php环境

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/27201.html

使用 docker-compose 搭建一个 elk 系统

摘要：找了不少使用搭建的博客英文的阅读吃力不说镜像源也是慢的让人头皮发麻因此重新编排了一个源都是从上找的即使拉的国内镜像源应该也能很好的支持了吧环境给每个容器最少分配的内存软件版本启动前的配置在各个目录下都有对应的配置根据各自的情况自行处找了不少使用 docker-elk 搭建的博客, 英文的阅读吃力不说, 镜像源也是慢的让人头皮发麻, 因此重新编排了一个docker-compose,源都...

txgcwm 2019-06-28 16:35 评论0 收藏0
利用ELK搭建Docker容器化应用日志中心

摘要：概述应用一旦容器化以后，需要考虑的就是如何采集位于容器中的应用程序的打印日志供运维分析。 showImg(https://segmentfault.com/img/remote/1460000014146680); 概述应用一旦容器化以后，需要考虑的就是如何采集位于Docker容器中的应用程序的打印日志供运维分析。典型的比如 SpringBoot应用的日志收集。本文即将阐述如何利...

周国辉 2019-06-28 16:20 评论0 收藏0
docker环境搭建ELK

摘要：搭建系列环境搭建集群搭建集群环境搭建搭建集群环境搭建序是开源日志界的三大剑客，本文主要讲怎么在里头跑起来这一套东东。镜像这里采用的镜像。运行查看查看默认端口 docker搭建系列 docker环境搭建zk集群 docker搭建redis集群 docker环境搭建elasticsearch docker搭建rabbitmq集群 docker环境搭建ELK 序 ELK是开源日志界的三大...

mingde 2019-06-28 15:04 评论0 收藏0