基于Docker搭建ELK 日志系统的方法
背景需求:
业务发展越来越庞大,服务器越来越多 各种访问日志、应用日志、错误日志量越来越多,导致运维人员无法很好的去管理日志 开发人员排查问题,需要到服务器上查日志,不方便 运营人员需要一些数据,需要我们运维到服务器上分析日志。
ELK介绍:
ELK是三个开源软件的缩写,分别为:Elasticsearch 、 Logstash以及Kibana , 它们都是开源软件。 目前由于原本的ELK Stack成员中加入了 Beats 工具所以已改名为Elastic Stack。 Beats,它是一个轻量级的日志收集处理工具(Agent),占用资源少,适合于在各个服务器上搜集日志后传输给Logstash,官方也推荐此工具。
搭建步骤:
经过上述描述,大家也应该稍微有点了解了,想要搭建这个平台至少是需要3/4个软件的(可以没有filebeat)。
- kibana 用于展示
- elasticsearch 用于检索
- logstash 用于过滤
- filebeat 用于收集日志
本篇文章假定你已经有了docker环境,并且有基本的docker使用经验
拉取镜像(统一版本可以避免很多坑):
docker pull kibana:6.8.2 docker pull elasticsearch:6.8.2 docker pull mobz/elasticsearch-head:5 # es的一个插件 docker pull logstash:6.8.2 docker pull docker.elastic.co/beats/filebeat:6.8.2 # 很慢 可以尝试设置代理或者更改docker镜像源
Docker 设置代理在linux中可以使用ClashX 订阅url,然后docker 连到代理。有桌面的可以直接更改,没有的也可以创建配置文件进行更改 ⇒ 传送门
另外把docker的内存给多一点儿,避免到时候卡顿。
构建ES:
docker run -d -p 9200:9200 -p 9300:9300 --name elasticsearch -e "discovery.type=single-node" elasticsearch:6.8.2
浏览器访问(curl也行):localhost:9200 出现下面的结果则说明启动成功:
若出现错误,请查错误日志。
创建ES-HEAD:
docker run -d -p 9100:9100 docker.io/mobz/elasticsearch-head:5
同样访问localhost:9100,看到下面的结果即为成功:
在es-head连接es可能是连不上的,是因为es没有开启跨域,进入es容器内部 找到config文件下的elasticsearch.yml,在此文件中增加:
http.cors.enabled: true http.cors.allow-origin: "*"
然后重启es后es-head就可以连接上es。
开启Kibana:
docker run -d -p 5601:5601 --link elasticsearch -e ELASTICSEARCH_URL=http://elasticsearch:9200 kibana:6.8.2
这里就是http://elasticsearch:9200,不要更改,前面使用了–link,会在kibana容器hosts文件中加入elasticsearch ip地址,这样我们就直接通过定义的name来访问es服务了。
容器启动成功后,es-head里面应该就能看到下面的信息:
访问localhost:5601会出现下面的结果:
至此我们的kibana已经成功跑起来了,es也已经跑起来了,接下来就是收集日志的服务了。
构建filebeat 和 logstash:
首先声明,这两兄弟需要点儿配置文件,我们想整个文件夹统一存放这两份配置文件:
mkdir elktest # 在主目录下 即:~/elktest 路径 cd elktest touch filebeat.yml touch logstash.conf
添加配置文件
vim filebeat.yml
filebeat.prospectors: - paths: - /home/elk/logs/user/a.log multiline: pattern: ^\d{4} negate: true match: after fields: doc_type: user - paths: - /home/elk/logs/service/a.log multiline: pattern: ^\d{4} negate: true match: after fields: doc_type: service output.logstash: # 输出地址 hosts: ["logstash:5044"]
vim logstash.conf
input { beats { port => "5044" } } filter { json { source => "message" } } output { stdout { codec => rubydebug } elasticsearch { hosts => [ "elasticsearch:9200" ] index => "%{[fields][doc_type]}-%{+YYYY.MM.dd}" } }
当前你应该还在elktest目录下,由于我们没有日志来源,所以本片的方式是手动创建日志,建立一个日志文件夹:
mkdir logdir
自己构建一些日志,随便写什么,文件及文件夹名称不要改动,已经在配置文件中对应好了,构建完成之后你的目录结构应该长这个样子:
创建容器:
docker run -it --name logstash --link elasticsearch -d -p 5044:5044 -v ~/elktest/logstash.conf:/usr/share/logstash/pipeline/logstash.conf logstash:6.8.2 docker run --name filebeat --link logstash -d -v ~/elktest/filebeat.yml:/usr/share/filebeat/filebeat.yml -v ~/elktest/logdir/user/:/home/elk/logs/user/ -v ~/elktest/logdir/service/:/home/elk/logs/service/ docker.elastic.co/beats/filebeat:6.8.2
此时你的es-head应该长这个样子:
如果不是这个样子,可以查看容器是否运行,是否有错误日志,另外也可以到logstash容器中ping elasticsearch,filebeat容器中ping logstash,检查路径是否有问题。
Kibana显示: 创建索引向:
创建完成后去查看,添加自己想要查看的字段,内容在message里(刚好就是我们在a.log中的内容):
到此为止,我们的elk已经搭建完成了,成功搭建的小伙伴晚饭给自己加个鸡腿!!!!
以上就是基于Docker搭建ELK 日志系统的方法的详细内容,更多关于Docker搭建ELK日志系统的资料请关注猪先飞其它相关文章!
相关文章
docker 启动elasticsearch镜像,挂载目录后报错的解决
这篇文章主要介绍了docker 启动 elasticsearch镜像,挂载目录后报错的解决,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-11-20解决Docker中的error during connect异常情况
这篇文章主要介绍了解决Docker中的error during connect异常情况,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-11-22- 这篇文章主要介绍了docker部署confluence的完整步骤,这里的镜像并不是小编自己写的是基于他人打包的文中有详细介绍,需要的朋友可以参考下...2021-06-11
- 这篇文章主要介绍了解决docker挂载的目录无法读写问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-19
教你使用Portainer管理多台Docker容器环境的方法
这篇文章主要介绍了Portainer管理多台Docker容器环境,本文给大家介绍的非常详细,包括环境准备及管理docker的详细过程,需要的朋友可以参考下...2021-11-11- 这篇文章主要介绍了docker swarm外部验证负载均衡时不生效的问题,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-04-27
Docker 解决openjdk容器里无法使用JDK的jmap等命令问题
这篇文章主要介绍了Docker 解决openjdk容器里无法使用JDK的jmap等命令问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-12-04- 这篇文章主要介绍了docker端口映射及外部无法访问问题,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2021-01-19
使用rpm安装指定版本docker(1.12.6)的详细步骤
为了防止安装高版本的docker引发的错误,需要安装1.12.6版本的docker,下面小编给大家带来了使用rpm安装指定版本的docker(1.12.6)的步骤,感兴趣的朋友一起看看吧...2021-08-11- 通过本文可以帮助大家快速学习Docker安装ElasticSearch的过程,本文通过图文并茂的形式给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧...2021-08-31
- 这篇文章主要介绍了在docker中执行linux shell命令的操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-30
- 这篇文章主要介绍了一条命令重启所有已停止的docker容器操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-11-20
- 这篇文章主要给大家介绍了关于docker容器与宿主机的数据交互,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2020-11-09
安装Docker Desktop报错WSL 2 installation is incomplete的问题(解决报错)
这篇文章主要介绍了安装Docker Desktop报错WSL 2 installation is incomplete的问题,解决方法很简单只需我们自己手动更新一下,我们根据提示去微软官网下载最新版的wsl2安装后即可正常打开,需要的朋友可以参考下...2021-06-13详解如何使用Docker部署Django+MySQL8开发环境
这篇文章主要介绍了详解如何使用Docker部署Django+MySQL8开发环境,文中通过示例代码以及图文介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧...2020-07-19- 这篇文章主要介绍了Docker部署Rancher的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2021-01-06
- 这篇文章主要介绍了.NET 5 部署在docker上运行的方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-03-06
Shell脚本构建Docker 半自动化编译打包发布应用操作
这篇文章主要介绍了Shell脚本构建Docker 半自动化编译打包发布应用操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-30- 现在很多开发者都使用Vagrant来管理他们的虚拟机开发环境,Vagrant确实很酷, 不过也有不少缺点(最主要的是它占用太多的资源)。在容器技术、Docker和更多类Docker技术出现后,解决这个问题就变得简单了。这篇文章主要介绍了Docker配置PHP开发环境,下面来一起看看吧。...2017-01-08
- 这篇文章主要介绍了docker cp 拷贝文件 和 进入容器的操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-25