使用ELK搭建统一日志分析平台 - 好文

使用ELK（Logstash+ElasticSearch+Kibana）搭建统一日志分析平台

一、背景分析

为了应付我们日益复杂的业务需求，系统设计趋近模块化，每个模块各司其职由不同人员开发，打印的日志格式也大都不一样，有些面向用户的接口模块还可能会多台一起做负载，这样就给运维带来了很大的工作量，定位一个问题需要四处翻日志，现有ELK这三个开源的部件（从日志的收集，统一存储，多维度展现等多个方面）为我们提供了一整套的日志分析解决方案。

二、关系流程图

三、工具准备

工具当然要从官网获取！地址如下：https://www.elastic.co/cn/products

附上我自己的版本列表注意：jdk需要1.8版本

四、ElasticSearch部署

解压安装包:
[root@wuhan-216 local]# unzip elasticsearch-6.2.4.zip
修改配置文件
[root@wuhan-216 elasticsearch-6.2.4]# vim config/elasticsearch.yml
这里只列出我简单修改的单机配置
#es名称 cluster.name: my-elasticsearch #节点名称 node.name: node-1 #索引数据存放地址
path.data: /path/to/data #es日志存放地址 path.logs: /path/to/logs
#绑定的ip（一般为本机ip）配置这个才能让别人访问到 network.host: *.*.*.* #绑定的端口 http.port: 9200
#部分操作系统启动报错，增加如下设置 bootstrap.memory_lock: false bootstrap.system_call_filter:
false
由于es的安全策略，不允许从root启动，这里我们要创建一个用户
#添加用户 groupadd useradd es -g es passwd es #给该用户分配操作权限 chown -R es:es
elasticsearch-6.2.4 #给该用户分配日志和数据操作的权限 chown -R es:es path

    启动服务

[root@wuhan-216 bin]# ./elasticsearch Exception in thread "main"
java.lang.UnsupportedClassVersionError:
org/elasticsearch/tools/launchers/JavaVersionChecker : Unsupported major.minor
version 51.0 at java.lang.ClassLoader.defineClass1(Native Method) at
java.lang.ClassLoader.defineClassCond(ClassLoader.java:632) at
java.lang.ClassLoader.defineClass(ClassLoader.java:616) at
java.security.SecureClassLoader.defineClass(SecureClassLoader.java:141) at
java.net.URLClassLoader.defineClass(URLClassLoader.java:283) at
java.net.URLClassLoader.access$000(URLClassLoader.java:58) at
java.net.URLClassLoader$1.run(URLClassLoader.java:197) at
java.security.AccessController.doPrivileged(Native Method) at
java.net.URLClassLoader.findClass(URLClassLoader.java:190) at
java.lang.ClassLoader.loadClass(ClassLoader.java:307) at
sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301) at
java.lang.ClassLoader.loadClass(ClassLoader.java:248) Could not find the main
class: org.elasticsearch.tools.launchers.JavaVersionChecker. Program will exit.
at java.lang.ClassLoader.defineClass1(Native Method) at
java.lang.ClassLoader.defineClassCond(ClassLoader.java:632) at
java.lang.ClassLoader.defineClass(ClassLoader.java:616) at
java.security.SecureClassLoader.defineClass(SecureClassLoader.java:141) at
java.net.URLClassLoader.defineClass(URLClassLoader.java:283) at
java.net.URLClassLoader.access$000(URLClassLoader.java:58) at
java.net.URLClassLoader$1.run(URLClassLoader.java:197) at
java.security.AccessController.doPrivileged(Native Method) at
java.net.URLClassLoader.findClass(URLClassLoader.java:190) at
java.lang.ClassLoader.loadClass(ClassLoader.java:307) at
sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301) at
java.lang.ClassLoader.loadClass(ClassLoader.java:248) Could not find the main
class: org.elasticsearch.tools.launchers.JavaVersionChecker. Program will exit.
看到如下错误提示：有经验的同学应该对此不陌生，报这个错一般都是jdk不匹配

查看系统jdk版本:
[root@wuhan-216 bin]# java -version java version "1.6.0_24" Java(TM) SE
Runtime Environment (build 1.6.0_24-b07) Java HotSpot(TM) 64-Bit Server VM
(build 19.1-b02, mixed mode)

    可以看到目前系统是1.6的jdk，而我们需要1.8的环境，改了系统环境又会对其他的项目产生影响，这个时候我们唯一能做的就是指定elasticsearch的jdk（不改动系统jdk）

安装jdk1.8
[root@wuhan-216 java]# tar -zxvf jdk-8u171-linux-x64.tar.gz

vim bin/elasticsearch 修改es指定的jdk
# 添加以下代码 export JAVA_HOME=/usr/java/jdk1.8.0_171/ export
PATH=$JAVA_HOME/bin:$PATH if [ -x "$JAVA_HOME/bin/java" ]; then
JAVA="/usr/java/jdk1.8.0_171//bin/java" else JAVA=`which java` fi
再次启动，总会喜闻乐见的遇到这么几个错误
ERROR: [3] bootstrap checks failed [1]: max file descriptors [10000] for
elasticsearch process is too low, increase to at least [65536] [2]: max virtual
memory areas vm.max_map_count [65536] is too low, increase to at least [262144]
[3]: system call filters failed to install; check the logs and fix your
configuration or disable system call filters at your own risk
这里收集了网上的一些解决办法（亲测有效）
1、max file descriptors [4096] for elasticsearch process likely too low,
increase to at least [65536] 2、max number of threads [1024] for user [lishang]
likely too low, increase to at least [2048] 解决方法：切换到root用户，编辑limits.conf
添加类似如下内容 vim /etc/security/limits.conf 添加如下内容: * soft nofile 65536 * hard
nofile 131072 * soft nproc 2048 * hard nproc 4096 注意，要退出重新登陆才能生效。 3、max number
of threads [1024] for user [lish] likely too low, increase to at least [2048]
解决：切换到root用户，进入limits.d目录下修改配置文件。 vim /etc/security/limits.d/90-nproc.conf
修改如下内容： * soft nproc 1024 #修改为 * soft nproc 2048 4、max virtual memory areas
vm.max_map_count [65530] likely too low, increase to at least [262144]
解决：切换到root用户修改配置sysctl.conf vim /etc/sysctl.conf 添加下面配置：
vm.max_map_count=655360 并执行命令： sysctl -p 5、system call filters failed to
install; check the logs and fix your configuration or disable system call
filters at your own risk 解决：在elasticsearch.yml中配置 bootstrap.memory_lock: false
bootstrap.system_call_filter: false
    后台启动
[root@wuhan-216 bin]# ./elasticsearch & --------- -------- -----
[2018-06-13T11:33:28,150][INFO ][o.e.n.Node ] [2mE2yhD] started 启动成功
浏览器访问该ip的9200端口

    成功

五、Logstash部署

解压安装包:
[root@dhm216_2 java]# unzip logstash-6.2.4.zip
进入bin目录启动
[root@wuhan-216 bin]# ./logstash Exception in thread "main"
java.lang.UnsupportedClassVersionError: org/logstash/Logstash : Unsupported
major.minor version 52.0 at java.lang.ClassLoader.defineClass1(Native Method)
at java.lang.ClassLoader.defineClassCond(ClassLoader.java:632) at
java.lang.ClassLoader.defineClass(ClassLoader.java:616) at
java.security.SecureClassLoader.defineClass(SecureClassLoader.java:141) at
java.net.URLClassLoader.defineClass(URLClassLoader.java:283) at
java.net.URLClassLoader.access$000(URLClassLoader.java:58) at
java.net.URLClassLoader$1.run(URLClassLoader.java:197) at
java.security.AccessController.doPrivileged(Native Method) at
java.net.URLClassLoader.findClass(URLClassLoader.java:190) at
java.lang.ClassLoader.loadClass(ClassLoader.java:307) at
sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301) at
java.lang.ClassLoader.loadClass(ClassLoader.java:248) Could not find the main
class: org.logstash.Logstash. Program will exit.
    给logstash指定1.8的jdk

    logstash启动过程会引入lib文件bin/logstash.lib.sh,编辑该文件
setup_java() { # set the path to java into JAVACMD which will be picked up by
JRuby to launch itself if [ -x "$JAVA_HOME/bin/java" ]; then
JAVACMD="$JAVA_HOME/bin/java" else set +e JAVACMD=`which java` set -e fi
可以看到这里引入了系统环境变量$JAVA_HOME，所以这里我们只需指定该变量的路径即可,在文件的行首添加该变量的引用
export JAVA_HOME="/usr/java/jdk1.8.0_171"
再次启动
[root@wuhan-216 bin]# ./logstash Sending Logstash's logs to
/usr/local/logstash-6.2.4/logs which is now configured via log4j2.properties
[2018-06-13T10:12:10,168][INFO ][logstash.modules.scaffold] Initializing module
{:module_name=>"fb_apache",
:directory=>"/usr/local/logstash-6.2.4/modules/fb_apache/configuration"}
[2018-06-13T10:12:10,202][INFO ][logstash.modules.scaffold] Initializing module
{:module_name=>"netflow",
:directory=>"/usr/local/logstash-6.2.4/modules/netflow/configuration"}
[2018-06-13T10:12:10,364][INFO ][logstash.setting.writabledirectory] Creating
directory {:setting=>"path.queue",
:path=>"/usr/local/logstash-6.2.4/data/queue"} [2018-06-13T10:12:10,372][INFO
][logstash.setting.writabledirectory] Creating directory
{:setting=>"path.dead_letter_queue",
:path=>"/usr/local/logstash-6.2.4/data/dead_letter_queue"} ERROR: Pipelines
YAML file is empty. Location: /usr/local/logstash-6.2.4/config/pipelines.yml
usage: bin/logstash -f CONFIG_PATH [-t] [-r] [] [-w COUNT] [-l LOG]
bin/logstash --modules MODULE_NAME [-M
"MODULE_NAME.var.PLUGIN_TYPE.PLUGIN_NAME.VARIABLE_NAME=VALUE"] [-t] [-w COUNT]
[-l LOG] bin/logstash -e CONFIG_STR [-t] [--log.level
fatal|error|warn|info|debug|trace] [-w COUNT] [-l LOG] bin/logstash -i SHELL
[--log.level fatal|error|warn|info|debug|trace] bin/logstash -V [--log.level
fatal|error|warn|info|debug|trace] bin/logstash --help
[2018-06-13T10:12:11,250][ERROR][org.logstash.Logstash ]
java.lang.IllegalStateException: org.jruby.exceptions.RaiseException: (Syste
出现这样的提示就表示你的环境已经OK只是需要指定输入输出的规则

在这里个人喜欢准备2个配置文件，1个用于调试filter过滤规则（控制台输入输出），1个正式使用（读取log文件输出到ES）

在这里把两个文件都贴出来

1.test.conf，用于调试filter过滤规则（控制台输入输出）
input { stdin { } } output { stdout {} }
指定文件启动:
[root@wuhan-216 bin]# ./logstash -f test.conf Sending Logstash's logs to
/usr/local/ELK/logstash-6.2.4/logs which is now configured via
log4j2.properties [2018-06-13T14:36:15,387][INFO ][logstash.modules.scaffold]
Initializing module {:module_name=>"netflow",
:directory=>"/usr/local/ELK/logstash-6.2.4/modules/netflow/configuration"}
[2018-06-13T14:36:15,415][INFO ][logstash.modules.scaffold] Initializing module
{:module_name=>"fb_apache",
:directory=>"/usr/local/ELK/logstash-6.2.4/modules/fb_apache/configuration"}
[2018-06-13T14:36:16,152][WARN ][logstash.config.source.multilocal] Ignoring
the 'pipelines.yml' file because modules or command line options are specified
[2018-06-13T14:36:16,207][INFO ][logstash.agent ] No persistent UUID file
found. Generating new UUID {:uuid=>"39402e25-e423-4b73-8195-807dca23679f",
:path=>"/usr/local/ELK/logstash-6.2.4/data/uuid"}
[2018-06-13T14:36:16,979][INFO ][logstash.runner ] Starting Logstash
{"logstash.version"=>"6.2.4"} [2018-06-13T14:36:17,546][INFO ][logstash.agent ]
Successfully started Logstash API endpoint {:port=>9600}
[2018-06-13T14:36:21,061][INFO ][logstash.pipeline ] Starting pipeline
{:pipeline_id=>"main", "pipeline.workers"=>8, "pipeline.batch.size"=>125,
"pipeline.batch.delay"=>50} [2018-06-13T14:36:21,423][INFO ][logstash.pipeline
] Pipeline started successfully {:pipeline_id=>"main",
:thread=>"#<Thread:0x6739baff run>"} The stdin plugin is now waiting for input:
[2018-06-13T14:36:21,584][INFO ][logstash.agent ] Pipelines running {:count=>1,
:pipelines=>["main"]}

    可以看到这里是等待控制台输入,我们随便输入点内容:hello，它自动给我们解析出了版本号，时间戳，主机，信息等字段

hello { "@version" => "1", "@timestamp" => 2018-06-13T06:38:06.223Z, "host" =>
"wuhan-216.1", "message" => "hello" }
    这里以我需要解析的日志格式为例，系统打印的日志是这样的：

/stbntinfo?client=00060460540&areaCode=100&netWorkId=11&transactionID=0000ca0a69a4"
    所以，在test.conf配置文件中增加过滤条件filter
input { stdin { } } filter { grok { match => { "message" =>
"%{WORD:request}\?client=%{WORD:client}&areaCode=%{NUMBER:area}&netWorkId=%{NUMBER:net}"
} remove_field => ["message"] } } output { stdout {} }
    重新启动:再输入hello，可以看到，因为我们配置了filter过滤规则，遇到与上文规则不匹配的内容就会解析失败
hello { "host" => "wuhan-216.1", "tags" => [ [0] "_grokparsefailure" ],
"@timestamp" => 2018-06-13T06:50:49.706Z, "@version" => "1", "message" =>
"hello" }

    再次输入我们的日志格式，可以看到logstash按照filter中定义的规则吧日志中的每个字段都给解析出来并输出到控制台了

/stbntinfo?client=00060460540&areaCode=100&netWorkId=11&transactionID=0000ca0a69a4
{ "@version" => "1", "area" => "100", "net" => "11", "host" => "wuhan-216.1",
"@timestamp" => 2018-06-13T06:53:08.459Z, "request" => "stbntinfo", "client" =>
"00060460540" }
到此为止，我们调试好过滤规则了，现在我们正式从日志文件中读取记录并输出到es存储，贴出我的配置文件
input { file { path => ["/000000000000000000app-info.log"] type => "system"
start_position => "beginning" #表示多就去path路径下查看是够有新的文件产生。默认是15秒检查一次。
discover_interval => 15 close_older => 3600
#已经监听的文件,若超过这个时间内没有更新,就关闭监听该文件的句柄,默认一天 ignore_older => 86400 #logstash 每隔多
久检查一次被监听文件状态（是否有更新），默认是 1 秒。 stat_interval => 1 } } filter { grok { match =>
{ "message" =>
"%{WORD:request}\?client=%{WORD:client}&areaCode=%{NUMBER:area}&netWorkId=%{NUMBER:net}"
} remove_field => ["message"] #存储的结果中删除message属性 } } output { if
"_grokparsefailure" not in [tags]{ #根据规则转化成功的日志才输出到es elasticsearch { #
导出到es，最常用的插件 codec => "json" hosts => ["00.000.0.00:9200"] index =>
"%{request}" #根据请求接口名动态生成动态 document_type => "test" #flush_size => 500
#idle_flush_time => 1 } #这里除了es，还可以把转换好的内容输出到其他路径 }else{ #转换失败的日志就不做处理 } }

    再次启动加"&"表示后台启动

./logstash -f es.conf &
    在es中查询该索引记录:可见我们配置的工具成功的吧日志文件中不规则的记录解析进我们的es里了。

六、Kibana展现

解压压缩包
[root@wuhan-216 ELK]# tar -zxvf kibana-6.2.4-linux-x86_64.tar.gz
编辑配置文件
vim config/kibana.yml
这里仅仅列出比较关键的配置项
server.port: 5601 #端口 server.host: "00.0.000.0" #指定本机ip让外部能访问
elasticsearch.url: "http://00.0.000.0:9200" #指定ES数据源
访问方式，在浏览器中输入:ip:5601 当显示出如下画面，就代表你已经启动成功了

这里需要配置展现的默认索引，选择我们刚刚录入的记录的索引名

选择系统默认帮我们生成的时间戳（当然你也可以在logstash中自己生成时间戳）

创建完毕，接下来的各种查询方式就不一一介绍了，让我们一起感受kibana的强大吧

热门工具换一换