澳门新萄京官方网站-www.8455.com-澳门新萄京赌场网址

澳门新萄京官方网站:搭建分布式日志分析平台

2019-07-14 作者:服务器运维   |   浏览(111)

利用 ELK系统分析Nginx日志并对数据进行可视化展示,elknginx

作者:飞走不可

一、写在前面

后期文章实时维护地址:

Centos7单机部署ELK,centos7部署elk

ELK部署参考文档

简单介绍:

ELK是三个开源工具组成,简单解释如下:

Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。

Logstash是一个完全开源的工具,它可以对你的日志进行收集、过滤,并将其存储供以后使用(如,搜索)。

Kibana 也是一个开源和免费的工具,它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。

场景分析:

日志主要包括系统日志、应用程序日志和安全日志等等。运维人员和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误。

通常,日志被分散的储存不同的设备上。如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理,例如:开源的syslog,将所有服务器上的日志收集汇总。

集中化管理日志后,日志的统计和检索又成为一件比较麻烦的事情,一般我们使用grep、awk和wc等Linux命令能实现检索和统计,但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。

这里采用开源实时日志分析ELK平台能够完美的解决我们上述的问题,当然也还有别的平台或者工具可以使用,这里只讨论ELK,官方网站:

截止目前elk官网提供最新稳定版本为5.4.0

需要实现效果:

1、系统messages日志通过本地beat方式(数据不做任何处理)导入到elasticsearch中,最后通过kibana可以查询。

2、Apache访问日志通过远程beat方式(数据经过处理)导入到elasticsearch中,通过kibana可以搜索日志中任何一个字段展示,也可以组合模糊查询索。也就是说将apache日志按json格式存储到elasticsearch中。

3、不同客户端的Nginx访问日志、Apache访问日志、系统日志均通过不同的匹配条件正则处理导入到elasticsearch中。Nginx和系统日志需要编写简单对应的正则表达式。

主要注意事项:

1、Elk版本号保持一致。 2、所有节点操作系统版本最好保持一致,尽可能使用目前centos7.3稳定版本。Elk三个节点的配置需要比其它节点都要高一点,为2C4G,其它均为2C2G。内存太低这都是我踩过的坑。要求所有节点均能通外网,需要安装软件包。

3、关闭防火墙和selinux。

4、elk为了统一都使用tar包安装所有软件。用yum安装特别是logstash会遇到很多坑。

5、搭建过程不难,难的是各个项目互相调试,难的是elk的高级使用方法。

说明:

本文目的只带你入门,至于elk更高级的应用和使用方法请查看官网或者其它技术文档。这里把所有的应用都单独分开部署是为了以后部署到docker容器中。当然你也可以都部署在一台服务器上。

详细信息:

IP地址

主机名

用途

安装软件

192.168.2.25

apache

客户端

httpd、filebeat

192.168.2.26

nginx

客户端

nginx、filebeat

192.168.2.27

logstash

日志分析处理

logstash、filebeat

192.168.2.28

elasticsearch

存储数据

elasticsearch

192.168.2.30

kibana

查询数据

kibana

安装步骤:

1、Elk三个节点安装jdk,jdk可以去oracle官方网站下载,版本号可以和我的不一样

rpm -ivh jdk-8u102-linux-x64.rpm

澳门新萄京官方网站 1
2、安装elasticsearch节点

wget  https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.4.0.tar.gztar zxvf elasticsearch-5.4.0.tar.gzmv elasticsearch-5.4.0 /usr/local/elasticsearchcd /usr/local/elasticsearch/config备份elasticsearch默认配置文件,以防修改出错cp elasticsearch.yml elasticsearch.yml.default

编辑后如下:

澳门新萄京官方网站 2

添加elasticsearch用户,tar包启动必须使用普通用户运行

useradd elasticsearchchown -R elasticsearch:elasticsearch /usr/local/elasticsearch

打开sysctl.conf文件,添加如下内容:

vm.max_map_count = 655360sysctl -p /etc/sysctl.conf

打开/etc/security/limits.conf文件,修改打开文件句柄数

* soft nofile 65536* hard nofile 65536* soft nproc  65536* hard nproc  65536su - elasticsearchcd /usr/local/elasticsearchbin/elasticsearch

澳门新萄京官方网站 3

第一次启动需要一些时间,因为需要做一些初始化动作,如果没启动成功请查系elasticsearch的相关日志解决。注意上面只是前台启动调试,在后台需要加&,需要重新启动。

查看端口是否开启

澳门新萄京官方网站 4
curl简单的测试
澳门新萄京官方网站 5
3、安装logstash节点

wget https://artifacts.elastic.co/downloads/logstash/logstash-5.4.0.tar.gztar zxvf logstash-5.4.0.tar.gzmv logstash-5.4.0 /usr/local/logstash

在logstash上面下载filebeat并启动,通过它来监听数据源文件的新增内容经过logstash处理后上传到es里面。

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.4.0-linux-x86_64.tar.gztar zxvf filebeat-5.4.0-linux-x86_64.tar.gzmv filebeat-5.4.0-linux-x86_64 /usr/local/filebeatcd /usr/local/filebeatcp filebeat.yml filebeat.yml.default

编辑filebeat.yml文件,内容如下:

澳门新萄京官方网站 6

启动filebeat服务

cd /usr/local/filebeat./filebeat &

注意filebeat没有监听端口,主要看日志和进程

澳门新萄京官方网站 7
澳门新萄京官方网站 8
新建一个本地文件messages-log,可以取几条本机系统的messages文件,内容如下:
澳门新萄京官方网站 9

注意filebeat监听的文件记录信息在/usr/local/filebeat/data/registry

最后新建一个logstash的启动指定test.conf配置文件,内容如下:

澳门新萄京官方网站 10

Logstash默认有input、filter、output三个区域,一般最少需要配置input和output即可!

logstash的本身默认的logstash.yml配置文件选择不修改即可!

cd /usr/local/logstash

首先简单的测试一下logstash不指定配置文件启动

bin/logstash -e 'input { stdin { } } output { stdout {} }'

澳门新萄京官方网站 11

我们手动输入hello world它也会输出hello world

然后指定配置文件test.conf启动,注意这是在前台启动,方便调试

澳门新萄京官方网站 12

查看5044端口和9600端口是否开启

澳门新萄京官方网站 13
等待一会后应该会出现如下信息输出,这也就是test.conf里面最后一行定义输出到屏幕上。
澳门新萄京官方网站 14
澳门新萄京官方网站 15

但是配置文件中也输入到elasticsearch当中,我们验证一下:

注意下图只截了一条数据,如果想看完整的数据,我们用kibana查看。

澳门新萄京官方网站 16

4、安装kibana节点

wget https://artifacts.elastic.co/downloads/kibana/kibana-5.4.0-linux-x86_64.tar.gztar zxvf kibana-5.4.0-linux-x86_64.tar.gzmv kibana-5.4.0-linux-x86_64 /usr/local/kibanacd /usr/local/kibana/configcp kibana.yml kibana.yml.default

编辑kibana.yml配置文件

澳门新萄京官方网站 17

启动kibana服务

bin/kibana

澳门新萄京官方网站 18

查看端口是否开启

澳门新萄京官方网站 19
打开浏览器输入
澳门新萄京官方网站 20

点击create按钮后,然后点击上面的discover按钮,注意如果没数据的话,注意看看导入的时间@timestamp和现在的时间对比一下,kibana默认只显示最近15分钟的数据,如果超出15分钟请选择适当的时间,从kibana可以看到messages-log里面的4条数据都正常导入了。这就也完成我们的实现的第一个效果。但是这仅仅是把流程跑通了,接下来我们需要做的事情还有更多。注意只能先导入数据到es后才能在kibana创建索引。

澳门新萄京官方网站 21

现在需要实现第二个效果,我们首先清除elasticsearch中的数据,其实删不删除无所谓,这里只是为了演示一下es中数据存储的位置。

rm -rf /usr/local/elasticsearch/data/nodes

关闭elasticsearch服务然后重新启动,刚刚删除的nodes目录又会重新被初始化创建,再次刷新kibana页面的discover按钮,把时间轴修改成最近5年的数据,确实报找不到数据了。

澳门新萄京官方网站 22
5、安装apache节点,为了简单测试我就直接yum安装

yum install httpd -ysystemctl start httpd

用浏览器访问

澳门新萄京官方网站 23

apache节点作为客户端安装filebeat

安装步骤参考上面

配置文件如下所示:

澳门新萄京官方网站 24

启动filebeat服务

./filebeat &

停止logstash服务,然后重新指定一个test02.conf配置文件,多了一个filter区域,这里就是按照grok正则匹配apache日志,将日志中的每一个字段按json格式导入,内容如下:

澳门新萄京官方网站 25

上图中的的%{COMBINEDAPACHELOG}正则是默认logstash自带的,具体位置参考如下:

/usr/local/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-4.0.2/patterns/grok-patterns

澳门新萄京官方网站 26

上图中grok-patterns文件里面有两处COMMONAPACHELOG参数,上面一个是COMMONAPACHELOG参数,是apache作为nginx后端服务器使用的日志格式,而下面一个COMBINEDAPACHELOG参数是直接调用上面COMMONAPACHELOG的参数再加两个参数作为web服务器使用的日志格式,这里我将apache作为web服务器使用,所以用COMBINEDAPACHELOG参数即可!如果是作为nginx后端的web服务器使用就用COMMONAPACHELOG参数即可!每个参数里面格式都是以冒号分割,前面是grok-pattrens中定义的变量,后面可以自定义变量的名称,每个%代表一个匹配的参数

启动logstash前检查配置文件test02.conf是否有语法错误

澳门新萄京官方网站 27

正式启动logstash,这里因为数据比较多,就只截取一条数据的图

澳门新萄京官方网站 28
澳门新萄京官方网站 29

从上图中我们可以看到已经将apache日志的每个字段按json格式导入到elasticsearch中,另外还多了一些字段,比如最让人弄混淆的是timestamp和@timestamp这两个,前者就是apache的访问时间,后者你可以理解为logstash处理的时间,比我们北京时间晚8小时,我觉得这个时间基本很少使用,我们再从kibana里查询数据条数的准确性,6hits表示有6条数据,跟我们上面access_log里面的数量正好对上。

澳门新萄京官方网站 30

点击任意一条数据的箭头,然后点击json,我们看到apache日志的所有字段都已经按照json格式存储,比如请求、状态码、请求大小等等。

澳门新萄京官方网站 31

试一试模糊搜索,搜索某一访问时间内状态码为404

澳门新萄京官方网站 32

搜索状态码大于400小于499
澳门新萄京官方网站 33

从上图我们基本知道当搜索条件变得越来越严谨的时候,我们唯一的方法就是将我们的数据按字段拆分存储到elasticsearch里面。这样搜索后就是我们需要的内容。这基本完成了我们要实现的第二个效果。

接着往下走,我们需要将apache、nginx、系统日志根据不同的日志格式存储到elasticsearch里面,首先每台机器都需要收集系统日志、然后根据不同的业务收集不同业务的服务器日志。这里apache收集apache和系统日志、nginx也收集nginx和系统日志。

6、安装nginx节点,nginx作为前端反向代理服务器使用

. yum install epel-release -y. yum install nginx -y

首先我们看一下nginx默认的日志格式

澳门新萄京官方网站 34

一般我们会在日志后面增加三个转发参数,后端服务器返回的地址、后端程序返回状态码、后端程序响应时间

澳门新萄京官方网站 35
注意nginx日志格式在logstash的grok里面默认是没有的,但是和apache一样基本都是作为web服务器使用,很多字段参数都可以共用,这里直接在grok-patterns文件增加一个COMMONNGINX参数

COMMONNGINXLOG%{COMBINEDAPACHELOG} %{QS:x_forwarded_for} (?:%{HOSTPORT1:upstream_addr}|-)(%{STATUS:upstream_status}|-) (%{BASE16FLOAT:upstream_response_time}|-)

澳门新萄京官方网站 36

前面到$http_x_forwarded_for参数可以直接调用apache的,后面四个自己定义,注意冒号前面的变量一定要定义,比如HOSTPORT1和STATUS就是logstash默认没有的变量名,所以我们需要用正则匹配,在grok-patterns文件的上面加上如下内容:

澳门新萄京官方网站 37

保存退出,然后直接调用COMMONNGINXLOG参数即可!

现在到了定义系统日志了,虽然默认里面有但是不能很好的满足我们的需求,我们手动编写一个正则添加到grok-patterns文件里面

SYSLOG%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname}%{DATA:syslog_program}(?:[%{POSINT:syslog_pid}])?:%{GREEDYDATA:syslog_message}

当然也可借助于Grok Debugger或者Grok Comstructor工具来测试。添加自定义正则的时候,在Grok Debugger中可以勾选“Add custompatterns”。

现在需要调试一下nginx转发请求到apache服务器处理。也就是nginx是前端反向代理,apache是后端服务器。

编辑nginx主配置文件nginx.conf,将location /修改为如下所示:

澳门新萄京官方网站 38

启动nginx服务

systemctl start nginx

nginx上安装filebeat(步骤参考上面即可)

nginx的filebeat配置文件如下:

澳门新萄京官方网站 39

nginx的新建messages_log文件内容如下:

澳门新萄京官方网站 40

修改apache主配置文件httpd.conf文件,将日志的格式修改一下,因为现在是作为后端web服务器使用,不需要记录agent等信息。

将这行注释去掉

CustomLog"logs/access_log" common

将这行前加上注释

CustomLog"logs/access_log" combined

在apache服务器默认根目录下面/var/www/html目录下创建一个test.html文件,内容随便写点什么都行:

澳门新萄京官方网站 41

重启apache服务

Systemctlrestart httpd

访问nginx服务

nginx日志出现如下界面说明正常

192.168.9.106 - - [10/May/2017:09:14:28  0800] "GET /test.html HTTP/1.1" 200 14 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36" "-" 192.168.2.25:80 200 0.002192.168.9.106 - - [10/May/2017:09:14:28  0800] "GET /favicon.ico HTTP/1.1" 404 209 "http://192.168.2.26/test.html" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36" "-" 192.168.2.25:80 404 0.001

apache日志出现如下界面说明正常

192.168.2.26 - - [10/May/2017:09:14:31  0800] "GET /test.html HTTP/1.0" 200 14192.168.2.26 - - [10/May/2017:09:14:31  0800] "GET /favicon.ico HTTP/1.0" 404 209

apache的filebeat配置文件如下:

澳门新萄京官方网站 42

apache的新建messages_log文件内容如下:
澳门新萄京官方网站 43

这里所有的配置和测试文件都准备齐了,nginx和apache服务器日志各2条数据,系统日志各2条,也就是8条数据。

最后就是我们的重头戏了,logstash的test03.conf配置文件如下:

澳门新萄京官方网站 44

注意这次apache的正则匹配被我修改了,因为是作为后端服务器使用,为了验证数据导入的正确性,清除elastucsearch中的数据和nginx、apache客户端上filebeat导入的记录点信息,注意清除记录点信息要先停止filebeat服务,然后再删除registry文件再启动filebeat服务。elasticsearch清除数据参考上面步骤。

启动logstash,只截图一个系统的访问日志导入,可以看到系统日志也按日志格式字段导入到elasticsearch中存储了。

澳门新萄京官方网站 45澳门新萄京官方网站 46

从kibana可以看到数据正好是8条

澳门新萄京官方网站 47

我们随便看一条系统日志导入后的json格式,主要按照SYSLOG正则分成了4个字段显示,syslog_timestamp、syslog_hostname、syslog_program、syslog_message

澳门新萄京官方网站 48

我们再看一下nginx日志导入后的json格式,这里nginx的字段就不一一解释了。

澳门新萄京官方网站 49

这样就实现了我们最开始需要展示的三个效果,当然这也只是很基础的搭建和配置,一些关于ELK更高级的使用方法请查询官方文档。

常见问题汇总:

1、监听文件新增内容重复导入

一般是直接编辑文件新增内容导致,正确的做法是echo “xxx” >> filename

2、Kibana里面查询没数据但是elasticsearch里面有

可能是查询数据的时间没选正确

3、Logstash启动巨慢

安装epel源然后安装haveged并启动,重启logstash

4、Yum安装的logstash能启动,但是无法导入数据到elasticsearch里面

一般情况下yum安装的elasticsearch和kibana没什么大问题,但是logstash不行,好像不太好指定配置文件,会遇到很多坑

5、数据导入后没有按照规定的正则以json方式展现

一般是数据的格式和正则对不上

简单介绍: ELK是三个开源工具组成,简单解释如下: Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,...

一、写在前面

结合之前写的一篇文章:Centos7 之安装Logstash ELK stack 日志管理系统,上篇文章主要讲了监控软件的作用以及部署方法。而这篇文章介绍的是单独监控nginx 日志分析再进行可视化图形展示,并在用户前端使用nginx 来代理kibana的请求响应,访问权限方面暂时使用HTTP 基本认证加密用户登录。(关于elk权限控制,我所了解的还有一种方式-Shield),等以后有时间了去搞下。下面开始正文吧。。。

注意:环境默认和上一篇大致一样,默认安装好了E、L、K、3个软件即可。当然了,还有必需的java环境JDK

开始之前,请允许我插入一张图,来自线上我的测试图:(如果有需要的童鞋,可以私信我,我可以把登录帐号给你。。)

备注:由于阿里云主机已经删除,无法提供试看了哈。

nginx日志文件其中一行:

218.75.177.193 - - [03/Sep/2016:03:34:06  0800] "POST /newRelease/everyoneLearnAjax HTTP/1.1" 200 370 "http://www.xxxxx.com/" 
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36" "36.22.6.130"

nginx 服务器日志的log_format格式:

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

结合之前写的一篇文章:CentOS 7 之安装Logstash ELK stack 日志管理系统,上篇文章主要讲了监控软件的作用以及部署方法。而这篇文章介绍的是单独监控nginx 日志分析再进行可视化图形展示,并在用户前端使用nginx 来代理kibana的请求响应,访问权限方面暂时使用HTTP 基本认证加密用户登录。(关于elk权限控制,我所了解的还有一种方式-Shield),等以后有时间了去搞下。下面开始正文吧。。。

ELK(Elasticsearch , Logstash, Kibana)是一套开源的日志收集、存储和分析软件组合。而且不只是java能用,其他的开发语言也可以使用,今天给大家带来的是elk logback kafka搭建分布式日志分析平台。本文主要讲解一下两种流程,全程linux环境(模拟现实环境,可用内存一定要大于2G,当然也可以使用windows),至于elk这些组件的原理,百度太多了,我就不重复了,重在整合。

一、 简介

二、配置logstash

1.修改配置文件,/etc/logstash/conf.d下。创建一个新的配置文件,内容如下:

 View Code

文件内容大致解释:

Logstash 分为 Input、Output、Filter、Codec 等多种plugins。
Input:数据的输入源也支持多种插件,如elk官网的beats、file、graphite、http、kafka、redis、exec等等等、、、
Output:数据的输出目的也支持多种插件,如本文的elasticsearch,当然这可能也是最常用的一种输出。以及exec、stdout终端、graphite、http、zabbix、nagios、redmine等等、、、
Filter:使用过滤器根据日志事件的特征,对数据事件进行处理过滤后,在输出。支持grok、date、geoip、mutate、ruby、json、kv、csv、checksum、dns、drop、xml等等、、
Codec:编码插件,改变事件数据的表示方式,它可以作为对输入或输出运行该过滤。和其它产品结合,如rubydebug、graphite、fluent、nmap等等。
具体以上插件的细节可以去官网,介绍的挺详细的。下面说下该篇中的配置文件的含义:

来源:飞走不可-原文http://www.cnblogs.com/hanyifeng/p/5857875.html

input段:
file:使用file 作为输入源
path: 日志的路径,支持/var/log*.log,及[ “/var/log/messages”, “/var/log/*.log” ] 格式
start_position: 从文件的开始读取事件。另外还有end参数
ignore_older: 忽略早于24小时(默认值86400)的日志,设为0,即关闭该功能,以防止文件中的事件由于是早期的被logstash所忽略。

filter段:
grok:数据结构化转换工具
match:匹配条件格式,将nginx日志作为message变量,并应用grok条件NGINXACCESS进行转换
geoip:该过滤器从geoip中匹配ip字段,显示该ip的地理位置
source:ip来源字段,这里我们选择的是日志文件中的最后一个字段,如果你的是默认的nginx日志,选择第一个字段即可(注:这里写的字段是/opt/logstash/patterns/nginx 里面定义转换后的)
target:指定插入的logstash字断目标存储为geoip
database:geoip数据库的存放路径
add_field: 增加的字段,坐标经度
add_field: 增加的字段,坐标纬度
mutate: 数据的修改、删除、类型转换
convert: 将坐标转为float类型
convert: http的响应代码字段转换成 int
convert: http的传输字节转换成int
replace: 替换一个字段
remove_field: 移除message 的内容,因为数据已经过滤了一份,这里不必在用到该字段了。不然会相当于存两份
date: 时间处理,该插件很实用,主要是用你日志文件中事件的事件来对timestamp进行转换,导入老的数据必备!在这里曾让我困惑了很久哦。别再掉坑了
match:匹配到timestamp字段后,修改格式为dd/MMM/yyyy:HH:mm:ss Z
mutate:数据修改
remove_field: 移除timestamp字段。

output段:
elasticsearch:输出到es中
host: es的主机ip+端口或者es 的FQDN+端口
index: 为日志创建索引logstash-nginx-access-*,这里也就是kibana那里添加索引时的名称

2.创建logstash配置文件之后,我们还要去建立grok使用的表达式,因为logstash 的配置文件里定义的使用转换格式语法,先去logstash的安装目录,默认安装位置:/opt/logstash/下,在该位置创建一个目录patterns:

[email protected] ~]# mkdir -pv /opt/logstash/patterns
mkdir: created directory ‘/opt/logstash/patterns’

在该目录下创建格式文件,内容如下:

[[email protected] ~]# cat /opt/logstash/patterns/nginx
NGUSERNAME [a-zA-Z.@- _%] 
NGUSER %{NGUSERNAME}
NGINXACCESS %{IPORHOST:clientip} - %{NOTSPACE:remote_user} [%{HTTPDATE:timestamp}] "(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})" %{NUMBER:response} (?:%{NUMBER:bytes}|-) %{QS:referrer} %{QS:agent} "%{IPV4:http_x_forwarded_for}"

注:该格式的最后有一个http_x_forwarded_for,因为我们日志是启用了cdn代理的。日志的第一段都是cdn的,最后一段才是真正客户的ip。

需要分析的nginx日志路径不在默认的位置,所以我根据logstash 的配置,建个目录先,并将日志文件拷贝进去:

[[email protected] ~]# mkdir -pv /data/nginx-logs/
[[email protected] ~]# ll /data/nginx-logs/
total 123476
-rw-r--r-- 1 nginx adm  126430102 Sep  9 16:02 access.log

3.然后就是logstash中配置的GeoIP的数据库解析ip了,这里是用了开源的ip数据源,用来分析客户端的ip归属地。官网在这里:MAXMIND

先把库下载到本地:

[[email protected] ~]# wget http://geolite.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz

解压到当前路径,并将它移动到上述我们配置的路径下,当然其它路径也是可以的,不过logstash 的配置文件也需要更改,如下:

[[email protected] ~]# gzip -d GeoLiteCity.dat.gz
[[email protected] ~]# mv GeoLiteCity.dat /etc/logstash/.

测试下logstash 的配置文件吧,使用它自带的命令去测试,如下:

[[email protected] ~]# /opt/logstash/bin/logstash -t -f /etc/logstash/conf.d/nginx_access.conf
Configuration OK

注:-t -f 参数顺序不能乱,格式就是定死的,-f 后面要跟配置文件;还有就是该测试只能测试语法,标点符号。如果逻辑上有错误的话,还是能启动的。这里就需要在正式启动运行时,多关注日志文件,位置:/var/log/logstash/logstash.log

  *注意:环境默认和上一篇大致一样,默认安装好了E、L、K、3个软件即可。当然了,还有必需的java环境JDK*

1.我们是通过logback打印日志,然后将日志通过kafka消息队列发送到Logstash,经过处理以后存储到Elasticsearch中,然后通过Kibana图形化界面进行分析和处理。2.我们使用Logstash读取日志文件,经过处理以后存储到Elasticsearch中,然后通过Kibana图形化界面进行分析和处理。例如我们读取nginx的日志文件,可以统计访问用户的ip地域,请求地址等等。

1.1 介绍

  ELK是三个开源工具组成,简单解释如下:

  Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。

  Logstash是一个完全开源的工具,它可以对你的日志进行收集、过滤,并将其存储供以后使用(如,搜索)。

Kibana 也是一个开源和免费的工具,它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。

三、配置Elasticsearch

1.先修改es的配置文件如下(存放路径:/etc/elasticsearch/elasticsearch.yml):

[[email protected] ~]# egrep -v '^#|^$' /etc/elasticsearch/elasticsearch.yml
node.name: es-1
path.data: /data/elasticsearch/
network.host: 127.0.0.1
http.port: 9200

其它内容都保持默认。主要修改了es的数据存放路径,它默认的路径在根目录下,由于容量太小,而/data容量大。 根据你的实际情况考虑而定。

创建数据存放目录:

[[email protected] ~]# mkdir -pv /data/elasticsearch

修改该文件的权限所属者:

[[email protected] ~]# chown -R elasticsearch.elasticsearch /data/elasticsearch/

之后重启es,重启logstash。

[[email protected] ~]# systemctl restart elasticsearch
[[email protected] ~]# systemctl restart logstash

检查启动状态:

[[email protected] ~]# netstat -ulntp | grep java
tcp6       0      0 127.0.0.1:9200          :::*                    LISTEN      25988/java
tcp6       0      0 127.0.0.1:9300          :::*                    LISTEN      25988/java

[[email protected] ~]# systemctl status logstash
● logstash.service - LSB: Starts Logstash as a daemon.
   Loaded: loaded (/etc/rc.d/init.d/logstash)
   Active: active (running) since Fri 2016-09-09 16:14:17 CST; 38s ago
     Docs: man:systemd-sysv-generator(8)
  Process: 27195 ExecStart=/etc/rc.d/init.d/logstash start (code=exited, status=0/SUCCESS)
   CGroup: /system.slice/logstash.service
           └─27201 /bin/java -XX: UseParNewGC -XX: UseConcMarkSweepGC -Djava.awt.headless=true -XX:CMSInitiatingOccupancyFraction=75 -XX...

Sep 09 16:14:17 log-monitor systemd[1]: Starting LSB: Starts Logstash as a daemon....
Sep 09 16:14:17 log-monitor logstash[27195]: logstash started.
Sep 09 16:14:17 log-monitor systemd[1]: Started LSB: Starts Logstash as a daemon..

logstash 的日志查看:

[[email protected] ~]# tail -f /var/log/logstash/logstash.log
{:timestamp=>"2016-09-09T16:14:26.732000 0800", :message=>"Pipeline main started"}

从上面可以看到启动是正常的,我们在去看下es里的索引,应该已经在倒入数据了。

[[email protected] ~]# curl 'localhost:9200/_cat/indices?v'
health status index                            pri rep docs.count docs.deleted store.size pri.store.size
yellow open   .kibana                            1   1          1            0      3.1kb          3.1kb
yellow open   logstash-nginx-access-2016.09.08   5   1      69893            0     24.2mb         24.2mb
yellow open   logstash-nginx-access-2016.09.09   5   1        339            0    273.8kb        273.8kb

从上面看到数据已经在慢慢的导入了。大概需要一段时间,因为涉及到日志的过滤写入等。不过也很快啦。我们暂时不去配置kibana。先去安装nginx做个代理。

  开始之前,请允许我插入一张图,来自线上我的测试图:(如果有需要的童鞋,可以私信我,我可以把登录帐号给你。。)

一、文章案例环境

1.centos 7.22.elasticsearch / logstash / kibana 6.3.2 下载地址3.nginx 1.12.24.kafka 2.12 下载地址5.logback/springboot 使用springboot2.0.4.RELEASE和默认的logback6.zookeeper 3.4.12 下载地址

1.2 场景分析

  日志主要包括系统日志、应用程序日志和安全日志等等。运维人员和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误。

  通常,日志被分散的储存不同的设备上。如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理,例如:开源的syslog,将所有服务器上的日志收集汇总。

  集中化管理日志后,日志的统计和检索又成为一件比较麻烦的事情,一般我们使用grep、awk和wc等Linux命令能实现检索和统计,但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。

  这里采用开源实时日志分析ELK平台能够完美的解决我们上述的问题,当然也还有别的平台或者工具可以使用,这里只讨论ELK,官方网站:

 

四、安装nginx 配置kibana代理

1.下载稳定版的nginx,这里使用yum安装。或者也可以选择编译,个人觉得rpm包已经足够可以使用。

[[email protected] ~]# wget https://nginx.org/packages/rhel/7/x86_64/RPMS/nginx-1.10.0-1.el7.ngx.x86_64.rpm

2.安装,并修改默认的配置文件

[[email protected] ~]# yum localinstall nginx-1.10.0-1.el7.ngx.x86_64.rpm –y

先将默认的default.conf 移动到其它目录中,或者直接删除也可以。我是直接删除了。然后新建一个elk.conf配置文件,内容如下:

[[email protected] ~]# cat /etc/nginx/conf.d/elk.conf
upstream elk {
    ip_hash;
    server 172.17.0.1:5601 max_fails=3 fail_timeout=30s;
    server 172.17.0.1:5601 max_fails=3 fail_timeout=30s;
}

server {
    listen 80;
    server_name localhost;
    server_tokens off;

    #close slow conn
    client_body_timeout 5s;
    client_header_timeout 5s;

    location / {
        proxy_pass http://elk/;
        index index.html index.htm;
        #auth
        auth_basic "ELK Private,Don't try GJ!";
        auth_basic_user_file /etc/nginx/.htpasswd;
    }


}

文件内容大致解释:

此处省略500字

3.新建一个http基本认证用户,使用的是httpd的一个工具组件,叫httpd-tools,用于生成加密的用户数据库

[[email protected] ~]# yum install httpd-tools –y

新建用户:

[[email protected] ~]# htpasswd -cm /etc/nginx/.htpasswd elk
New password:
Re-type new password:
Adding password for user elk

重启nginx,并检查状态

[[email protected] ~]# systemctl start nginx
[[email protected] ~]# systemctl status nginx
● nginx.service - nginx - high performance web server
   Loaded: loaded (/usr/lib/systemd/system/nginx.service; disabled; vendor preset: disabled)
   Active: active (running) since Fri 2016-09-09 12:02:41 CST; 47s ago
     Docs: http://nginx.org/en/docs/
  Process: 26422 ExecStart=/usr/sbin/nginx -c /etc/nginx/nginx.conf (code=exited, status=0/SUCCESS)
  Process: 26420 ExecStartPre=/usr/sbin/nginx -t -c /etc/nginx/nginx.conf (code=exited, status=0/SUCCESS)
 Main PID: 26424 (nginx)
   CGroup: /system.slice/nginx.service
           ├─26424 nginx: master process /usr/sbin/nginx -c /etc/nginx/nginx.conf
           └─26425 nginx: worker process

Sep 09 12:02:41 log-monitor systemd[1]: Starting nginx - high performance web server...
Sep 09 12:02:41 log-monitor nginx[26420]: nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
Sep 09 12:02:41 log-monitor nginx[26420]: nginx: configuration file /etc/nginx/nginx.conf test is successful
Sep 09 12:02:41 log-monitor systemd[1]: Started nginx - high performance web server.
Sep 09 12:03:13 log-monitor systemd[1]: Started nginx - high performance web server.
Sep 09 12:03:26 log-monitor systemd[1]: Started nginx - high performance web server.

检查监听端口:

[[email protected] ~]# netstat -ultpn | grep :8888
tcp        0      0 0.0.0.0:8888            0.0.0.0:*               LISTEN      26424/nginx: master

修改iptables防火墙,插入以下规则,允许外面访问8888端口。由于我们最终是使用8888端口对外提供服务的,所以kibana的5601,以及es的9200、9300端口都不需要对外

[[email protected] ~]# iptables -I INPUT -p tcp -m state --state NEW --dport 8888 -j ACCEPT

4.访问一下网站,验证下:

来源:飞走不可-原文http://www.cnblogs.com/hanyifeng/p/5857875.html

输入我们建立的elk用户,登陆后,可以正常的访问kibana界面即可,如下图:

添加一个索引,这个索引名字就是我们之前在logstash配置文件中导入es中的那个,本文中是logstash-nginx-access-*,如下图:

查看索引,目前自由一个,设置为加星,即是discover默认突出显示的。

然后我们点击Discover,即可看到我们倒入的数据了。如下图:

来源:飞走不可-原文http://www.cnblogs.com/hanyifeng/p/5857875.html

最后这是我的dashboard,主要统计了web站点的客户端ip地址归属地、总的http传输次数、top10 来源ip、top10 请求点击页面、错误请求趋势、等等,如下,上几张图:

澳门新萄京官方网站 50

二、安装Elasticsearch

1.创建用户如果你是root用户,要新建一个用户,elasticsearch不允许root用户登录,如果不是root登录请忽略这一步。

adduser elsearchsu elsearch

2.下载安装elasticsearch,以下简称es

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.2.tar.gztar -zxvf elasticsearch-6.3.2.tar.gz

3.修改配置

进入es的config目录,vi elasticsearch.yml,打开注释并修改

#如果配置集群的话,只要name一样就可以自动集群了,不需要单独配置cluster.name: nelsonnetwork.host: 0.0.0.0 #4个0表示外网可以访问http.port: 9200 #默认http端口transport.tcp.port: 9300 #默认tcp端口

vi jvm.options 修改一下内存配置,我这里内存不是很多所以修改为450Mb,两者保持一致,如果你内存足够,这个可以忽略。

-Xms450M-Xmx450M

然后就可以启动es,执行 /bin/elasticsearch 启动的时候可能会有一些提示,比如修改一些配置等,复制提示然后百度就会找到解决方案。4.测试如果es启动成功,可以通过浏览器访问 ip:9200,下图表示安装成功,如果无法访问,检查es是否成功启动或者是否防火墙拦截

澳门新萄京官方网站 511.png

二、安装Elasticsearch

五、小结

ELK优势:

  • 针对网络攻击事件时,方便运维人员查找溯源。
  • 日志集中收集存储,方便后续分析
  • 优化业务、系统时,做到有据可依
    ——> 来自虎神’s总结

搭建的过程中真的蛮辛苦的(毕竟都是英文),出了问题只能google,从不了解到熟悉,也算是种经历啦。不发牢骚了。。

画图容易,就如虎大牛所说:“先学会了如何查,画图自然而然就简单多了。当然还要知道其中每个字段的含义”。我的下篇文章将会主要说下如何画图(包括上面这些图中样式哈)。有没有点小福利的感觉?

End.

转载请注明来自36大数据(36dsj.com):36大数据 » 利用 ELK系统分析Nginx日志并对数据进行可视化展示

澳门新萄京官方网站:搭建分布式日志分析平台,Centos7单机部署ELK。nginx日志文件其中一行:

二、安装Nginx
yum install -y nginx

然后 vi /etc/nginx/nginx.conf修改nginx的日志默认输出格式

log_format json '{"@timestamp":"$time_iso8601",' '"@version":"1",' '"client":"$remote_addr",' '"url":"$uri",' '"status":"$status",' '"domian":"$host",' '"host":"$server_addr",' '"size":"$body_bytes_sent",' '"responsetime":"$request_time",' '"referer":"$http_referer",' '"ua":"$http_user_agent"' '}';access_log /opt/access.log json;

安装完成以后service nginx start启动nginx服务打开浏览器访问 ip,nginx默认是80端口,如果可以访问表示成功安装

澳门新萄京官方网站 522.png

2.1 安装jdk

# java -version
java version "1.8.0_121"
Java(TM) SE Runtime Environment (build 1.8.0_121-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.121-b13, mixed mode)

 2.2 安装Elasticsearch

# tar -zxvf elasticsearch-5.6.3.tar.gz
# mv elasticsearch-5.6.3 /data/elasticsearch
# cd elasticsearch/config/
# 备份配置文件
# cp elasticsearch.yml elasticsearch.yml.bak

  编辑配置文件

# cat elasticsearch.yml | grep -v ^#
cluster.name: elk-application
node.name: node-1
path.data: /data/elasticsearch/data
path.logs: /data/elasticsearch/logs
network.host: 172.16.220.248
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node-1"]
discovery.zen.minimum_master_nodes: 1

  添加elasticsearch用户,不能使用root启动

# groupadd -g 1008 elasticsearch
# useradd -g 1008 -u 1008 elasticsearch
# chown -R elasticsearch:elasticsearch /data/elasticsearch/

  修改sysctl.conf文件

# vim /etc/sysctl.conf
vm.max_map_count = 262144

# sysctl -p  

  修改**/etc/security/limits.conf文件,修改打开文件句柄**

*               soft    nofile          100000
*               hard    nofile          100000
*               soft    nproc           100000
*               hard    nproc           100000

  添加hosts文件

# vim /etc/hosts
172.16.220.248 node-1

  启动

# su -s elasticsearch
# cd /data/elasticsearch/bin
# ./elasticearch &

  查看是否启动

  澳门新萄京官方网站 53

  简单的**curl测试**

# curl http://172.16.220.248:9200

  澳门新萄京官方网站 54

 

218.75.177.193 - - [03/Sep/2016:03:34:06  0800] "POST /newRelease/everyoneLearnAjax HTTP/1.1" 200 370 "http://www.xxxxx.com/" 
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36" "36.22.6.130"
三、安装Logstash

1.下载安装 logstash

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.2.tar.gztar -zxvf elasticsearch-6.3.2.tar.gz

2.修改内存 vi jvm.options,内存足够的话,跳过这一步

-Xms400M-Xmx400M

3.配置输入输出在config目录下新建文件nginx.conf1)input表示输入源,他这里有好多插件,支持很多数据源包括文件,http等,我们这里首先收集nginx的日志。file表示读取文件;codec表示读取的文件格式,因为我们前边配置了nginx的日志格式为json,所以这里是json;start_position表示从那一行读取,他会记录上一次读取到那个位置,所以就不用担心遗漏日志了。type相当于一个tag一样,可能这里有很多输入源,后面会根据这个type进行过滤。2)filter表示处理输入数据,因为我们前边配置了nginx的日志里边记录了用户的ip,所以我们使用geoip组件,可以根据ip匹配位置信息,下面表示你将使用那些fields字段;source表示输入json的那个属性。3)output表示输出到哪里,可以文件、redis等,这里我们保存到es里。利用elasticsearch插件,然后配置一下es的地址,索引我们是通过日期自动生成,表示每天创建一个索引

input { file { path => "/var/log/nginx/access.log" type => "nginx" codec => "json" start_position => "beginning" }}filter { geoip { fields => ["city_name", "country_name", "latitude", "longitude", "region_name","region_code"] source => "client" }}output { if [type] == "nginx" { elasticsearch { hosts => ["127.0.0.1:9200"] index => "nelson-nginx-%{ YYYY.MM.dd}" } stdout {} }}

4.启动进入到logstash 目录执行以下命令,记得加-f

./bin/logstash -f ./config/nginx.conf

然后我们在浏览器访问nginx,输入ip就可以,这时候可以在控制台看到如下输出。

澳门新萄京官方网站 553.png

三、安装Logstash和filebeat

  filebeat用于在各个服务器上获取数据,发送到logstash上,再由logstash处理数据。

nginx 服务器日志的log_format格式:

四、安装Kibana

1.下载解压我买的服务器内存只有2G,所以我用的windows安装的Kibana

wget https://artifacts.elastic.co/downloads/kibana/kibana-6.3.2-linux-x86_64.tar.gztar -zxvf kibana-6.3.2-linux-x86_64.tar.gz

windows下载地址,我这里用的是windows

elasticsearch.url: "http://localhost:9200"//我的配置//elasticsearch.url: "http://47.98.109.5:9200"

3.启动进入到kibana目录下

//linux./bin/kibana//windows 双击运行bin目录下的kibana.bat文件

4.实战打开浏览器访问ip:5601第一次进来我们要创建index pattern,因为我们的日志是按照日期每天存储的,所以要将这些日志聚合到一起。按照下图进行设置,因为我已经有4天的日志了,所以过滤后有四条满足。

澳门新萄京官方网站 564.png澳门新萄京官方网站 575.png

可以根据时间段过滤,查看数据的录入量,这也表示网站访问量。

澳门新萄京官方网站 586.png

当然也可以通过rest api查询数据,支持复杂查询。索引也可以使用通配符

澳门新萄京官方网站 597.png

5.统计用户区域分布我们要创建一个统计,然后选择饼状图,下一步选择你要统计的index pattern,这个在上一步已经创建成功

澳门新萄京官方网站 608.png澳门新萄京官方网站 619.png添加子查询澳门新萄京官方网站 6210.png最后我们来一个很复杂的统计,按照国家->城市->浏览器类型,但是用kibana是很简单的,而且速度超快。澳门新萄京官方网站 6311.png澳门新萄京官方网站,到这里利用elk分析nginx的日志就算完成了,剩下的自己研究,基本类似,一些基本概念还是要自己去百度了。

接下来是通过logback kafka保存程序日志。因为生产环境中,分布式系统,你的服务可能有N个,例如基于docker,我们不可能给每个docker容器里安装一个logstash,所以需要通过网络向logbash传输数据。这里是通过logback产生日志,然后通过kafka消息队列传输到logstash。

3.1 安装logstash

# tar -zxvf logstash-5.6.3.tar.gz
# mv logstash-5.6.3 /data/logstash
log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';
五、安装Zookeeper

kafka 是需要zookeeper的,下面简称zk。

wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.12/zookeeper-3.4.12.tar.gztar -zxvf zookeeper-3.4.12.tar.gz#复制配置cp zoo_sample.cfg zoo.cfg修改配置vi zoo.cfgdataDir=/root/zk/data #改为你zk目录/data

澳门新萄京官方网站:搭建分布式日志分析平台,Centos7单机部署ELK。然后进入zk目录启动,如果不保存说明就启动成功了。

./bin/zkServer.sh start

3.2 安装filebeat

  下载filebeat并启动,通过它来监听数据源文件的新增内容经过logstash处理后上传到es里面

# tar -zxvf filebeat-5.6.3-linux-x86_64.tar.gz
# mv filebeat-5.6.3-linux-x86_64 /data/filebeat
# cd /data/filebeat
# cp filebeat.yml filebeat.yml.bak

  编辑**filebeat.yml文件**

filebeat.prospectors:
- input_type: log
  paths:
    - /var/log/message-log  # 测试本机的一个log文件
output.logstash:
  hosts: ["172.16.220.248:5044"]

  启动**filebeat服务**

# cd /data/filebeat
# ./filebeat &

  查看启动,filebeat没有监听端口,主要看日志和进程

# tialf logs/filebeat
# ps -ef | grep filebeat

  澳门新萄京官方网站 64

  filebeat监听的文件记录信息在/data/filebeat/data/registry

  新建一个本地文件message-log,可以取几条本机系统的messages文件

   澳门新萄京官方网站 65

二、配置logstash

六、安装Kafka

安装解压

wget http://mirror.bit.edu.cn/apache/kafka/2.0.0/kafka_2.12-2.0.0.tgztar -zxvf kafka_2.12-2.0.0.tgzcd kafka_2.12-2.0.0

然后修改config目录吓得server.properties,如果你的zk和你的kafka不在一台机器的话,你要修改zk的地址。还有一点要注意的是如果你使用阿里云这一类产品的时候一定要注意下面配置,特别坑:

listeners=PLAINTEXT://172.31.167.25:9092 #阿里云内网地址advertised.listeners=PLAINTEXT://47.104.255.217:9092 #阿里云外网地址

启动kafka server

bin/kafka-server-start.sh config/server.properties

创建一个 名称为applog 的topic

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic applog

查看所有topic

bin/kafka-topics.sh --list --zookeeper localhost:2181

消息的生产者,启动以后,在控制台输入信息,然后回车发送

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic applog

消息的消费者,如果生产者那里给applog这个top输入信息发送,消费者这边就会在收到,然后在控制台打印出来。

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic applog --from-beginning

接下来开发,我们只需要启动kafka server即可。上面这个消费者和生产者只是为了测试。

3.3 启动logstash  

  最后新建一个logstash的启动指定test.conf配置文件,内容如下:  

input {
    beats {
      port => "5044"
    }
}
output {
   elasticsearch {
   hosts => "172.16.220.248:9200"
  }
  stdout { codec => rubydebug }   # 这是将输出打印在屏幕上,可以注释掉
}  

  Logstash默认有input、filter、output三个区域,一般最少需要配置input和output即可!

  logstash的本身默认的logstash.yml配置文件选择不修改即可!

  简单测试一下logstash不指定配置文件启动

# cd /data/filebeat/bin
# ./logstash -e 'input { stdin {} } output {stdout {} }'

  澳门新萄京官方网站 66

  我们手动输入 hello world,它也会输出 hello world

  指定配置文件启动logstash 

# ./logstash -f ../config/test.conf &

  查看5044端口和9600端口是否开启

  澳门新萄京官方网站 67

  等待一会后应该会出现如下信息输出,这也就是test.conf里面最后一行定义输出到屏幕上

  澳门新萄京官方网站 68

1.修改配置文件,/etc/logstash/conf.d下。创建一个新的配置文件,内容如下:

七、程序中使用logback

我们新建一个springboot项目,然后加入如下依赖。coding地址:点击访问

compile('org.springframework.boot:spring-boot-starter-webflux')compile('org.springframework.kafka:spring-kafka')compile group: 'net.logstash.logback', name: 'logstash-logback-encoder', version: '5.2'compile group: 'com.github.danielwegener', name: 'logback-kafka-appender', version: '0.1.0'

因为springboot自带logback,所以我们也不需要手动增加依赖。然后我们在resource目录下新建文件logback-spring.xml,这样话,springboot自动读取配置文件优先顺序比较高,具体文章可以去springboot文档去查看。

<?xml version="1.0" encoding="UTF-8"?><configuration scan="true" scanPeriod="60 seconds" debug="false"> <contextName>logback</contextName> <property name="log.path" value="logs/elk.log" /> <!--输出到控制台--> <appender name="console" > <!-- <filter > <level>ERROR</level> </filter>--> <encoder> <pattern>%d{HH:mm:ss.SSS} %contextName [%thread] %-5level %logger{36} - %msg%n</pattern> </encoder> </appender> <!--输出到文件--> <appender name="file" > <file>${log.path}</file> <rollingPolicy > <fileNamePattern>logback.%d{yyyy-MM-dd}.log</fileNamePattern> </rollingPolicy> <encoder> <pattern>%d{HH:mm:ss.SSS} %contextName [%thread] %-5level %logger{36} - %msg%n</pattern> </encoder> </appender> <!--输出到kafka--> <appender name="KafkaAppender" > <encoder > <layout > <includeContext>false</includeContext> <includeCallerData>true</includeCallerData> <customFields>{"system":"test"}</customFields> <fieldNames /> </layout> <charset>UTF-8</charset> </encoder> <!--kafka topic 需要与配置文件里面的topic一致 否则kafka会沉默并鄙视你--> <topic>applog</topic> <keyingStrategy /> <deliveryStrategy /> <producerConfig>bootstrap.servers=47.104.255.217:9092</producerConfig> </appender> <!--你可能还需要加点这个玩意儿--> <logger name="Application_ERROR"> <appender-ref ref="KafkaAppender"/> </logger> <root level="info"> <appender-ref ref="console" /> <appender-ref ref="file" /> <appender-ref ref="KafkaAppender" /> </root></configuration>

然后我们新建controller

import org.slf4j.Logger;import org.slf4j.LoggerFactory;// 注意导包,不要导错@RestControllerpublic class IndexController { private Logger logger = LoggerFactory.getLogger(this.getClass; @RequestMapping public void index(){ logger.trace("日志输出 trace"); logger.debug("日志输出 debug"); logger.info("日志输出 info"); logger.warn("日志输出 warn"); logger.error("日志输出 error"); }}

这个时候我们需要,修改一下logback的配置文件了,要加入kafka的输入。修改logbstash的config目录吓得nginx.conf

input { #nginx日志的输入 file { path => "/opt/access.log" type => "nginx" codec => "json" start_position => "beginning" } #kafka日志输入 kafka { topics => "applog" type => "kafka" bootstrap_servers => "47.104.255.217:9092" codec => "json" }}filter { if [type] == "nginx" { geoip { fields => ["city_name", "country_name", "latitude", "longitude", "region_name","region_code"] source => "client" } }}output { #都输出到es中,但是索引不一样 if [type] == "nginx" { elasticsearch { hosts => ["127.0.0.1:9200"] index => "nelson-nginx-%{ YYYY.MM.dd}" } stdout {} } if [type] == "kafka" { elasticsearch { hosts => ["127.0.0.1:9200"] index => "nelson-applogs-%{ YYYY.MM.dd}" } stdout {} }}

然后执行../bin/logstash -f ./nginx.conf,启动logstash,这时候我们的logstash就有两个输入源了。访问项目中controller地址,看日志是否打印出来。idea的控制台打印了日志

澳门新萄京官方网站 6912.png

这是logstash打印出来的日志,如果这个出来基本可以说明成功了。

澳门新萄京官方网站 7013.png

最后我们在kibana中通过rest请求es,这里表示查到数据。

澳门新萄京官方网站 7114.png

要是想统计日志,可以参考上边kibanam那一块,类似。

到这里,本篇文章就结束了,elk nginx 和 elk logback kafka都已经实现了,考虑篇幅,所以这里没有细讲这些概念。这些呢就自行百度吧,不重复造轮子了,只要能串通,剩下的用到啥看官方文档或者百度。

后期文章实时维护地址:

如果有问题,请在下方评论,或者加群讨论 200909980

关注下方微信公众号,可以及时获取到各种技术的干货哦,如果你有想推荐的帖子,也可以联系我们的。

澳门新萄京官方网站 72

 四、安装kibana 

# tar -zxvf kibana-5.6.3-linux-x86_64.tar.gz
# mv kibana-5.6.3-linux-x86_64 /data/kinbana
# cd /data/kinbana/config/
# cp kibana.yml kibana.yml.bak

  编辑kibana.yml配置文件

# vim kibana.yml
server.port: 5601
server.host: "172.16.220.248"
elasticsearch.url: "http://172.16.220.248:9200"

  启动kinbana

# cd /data/kibana/bin
# ./kibana &

  查看端口

  澳门新萄京官方网站 73

  浏览器登入查看

   澳门新萄京官方网站 74

  点击create按钮后,然后点击上面的discover按钮,注意如果没数据的话,注意看看导入的时间@timestamp和现在的时间对比一下,kibana默认只显示最近15分钟的数据,如果超出15分钟请选择适当的时间,从kibana可以看到messages-log里面的15条数据都正常导入了。这就也完成我们的实现的第一个效果。但是这仅仅是把流程跑通了,接下来我们需要做的事情还有更多。注意只能先导入数据到es后才能在kibana创建索引。

  澳门新萄京官方网站 75

 

澳门新萄京官方网站 76

五、获取Nginx access日志

  Nginx日志格式在logstash的grok里面默认是没有的,需要我们手动配置,可以通过 在线工具来判断配置是否正确。

[root@log-monitor ~]# cat /etc/logstash/conf.d/nginx_access.conf
input {
    file {
        path => [ "/data/nginx-logs/access.log" ]
        start_position => "beginning"
        ignore_older => 0
    }
}

filter {
    grok {
        match => { "message" => "%{NGINXACCESS}" }

    }
    geoip {
      source => "http_x_forwarded_for"
      target => "geoip"
      database => "/etc/logstash/GeoLiteCity.dat"
      add_field => [ "[geoip][coordinates]", "%{[geoip][longitude]}" ]
      add_field => [ "[geoip][coordinates]", "%{[geoip][latitude]}" ]
    }

    mutate {
      convert => [ "[geoip][coordinates]", "float" ]
      convert => [ "response","integer" ]
      convert => [ "bytes","integer" ]
      replace => { "type" => "nginx_access" }
      remove_field => "message"
    }

    date {
      match => [ "timestamp","dd/MMM/yyyy:HH:mm:ss Z"]

    }
    mutate {
      remove_field => "timestamp"

    }


}
output {
    elasticsearch {
        hosts => ["127.0.0.1:9200"]
        index => "logstash-nginx-access-%{ YYYY.MM.dd}"
    }
    stdout {codec => rubydebug}
}

 5.1 在nginx服务器上安装filebeat

  服务器: 172.16.200.160  

# tar -zxvf filebeat-5.6.3-linux-x86_64.tar.gz
# mv filebeat-5.6.3-linux-x86_64 /data/filebeat
# cd /data/filebeat
# cp filebeat.yml filebeat.yml.bak

  修改filebeat配置文件

# cat filebeat.yml | grep -v ^$ | grep -v ^# | grep -v "#"
filebeat.prospectors:
- input_type: log
  paths:
    - /data/nginx/logs/160_access.log
   document_type: nginx_access
output.logstash:
  hosts: ["172.16.220.248:5044"]

  启动filebeat

# ./filebeat & 

View Code

5.2 重新配置logstash启动配置文件

  nginx日志格式,根据业务要求,我们这做了一些修改,比如增加cookie等,修改access.log日志时间格式等,这个会在另外的博客中写出来,会给出链接的。

   nginx日志中添加cookie信息

  nginx改变access.log中的时间格式

   Nginx日志格式  

log_format main
                '[$time_local] - $remote_addr:$remote_port - $upstream_addr $upstream_status $upstream_response_time - '
                '"$request" $status $bytes_sent $request_time '
                '"$http_referer" - "$http_user_agent" - '
                '"$customerTag_cookie" - "$ym_cookie" - "$http_cookie" '
                '"$http_x_forwarded_for"';

# 这里只是我们自己的格式,各位可以根据自己要求增删

   grok使用表达式

  可能我理解不是很到位,写的也比较复杂,我会把匹配对应项一一写出来,大家可以自己理解,然后为自己的项目配置

%{SYSLOG5424SD} - %{IPV4:clientip}:%{NUMBER:clientport} - %{IPV4:hostip}:%{NUMBER:itemport} %{INT:upstream_status} %{NUMBER:response_time} - "%{WORD:method} %{URIPATHPARAM:request} HTTP/%{NUMBER:http_version}" %{INT:status} %{INT:body_bytes_sent} %{NUMBER:request_time} %{QS:url} - %{QS:user_agent} - %{QS:customerTag} - %{QS:ym_traffic_session_id} - %{QS:all_cookies} %{IPV4:realip}

  grok匹配说明

%{SYSLOG5424SD}
时间格式
%{IPV4:clientip}
获取ip,clientip是自己命名的
%{NUMBER:clientport}
NUMBER匹配数字
%{INT:upstream_status}
INT整形
%{WORD:method}
WORD单词
%{URIPATHPARAM:request}
获取请求内容request
%{QS:url}
 QS可以获取一段字符串

 

  修改logstash启动配置文件

input {
    beats {
      port => "5044"
    }

}


filter {
    if [type] == "nginx_access" {

    grok {
        match => {"message" => "%{SYSLOG5424SD} - %{IPV4:clientip}:%{NUMBER:clientport} - %{IPV4:hostip}:%{NUMBER:itemport} %{INT:upstream_status} %{NUMBER:response_time} - "%{WORD:method} %{URIPATHPARAM:request} HTTP/%{NUMBER:http_version}" %{INT:status} %{INT:body_bytes_sent} %{NUMBER:request_time} %{QS:url} - %{QS:user_agent} - %{QS:customerTag} - %{QS:ym_traffic_session_id} - %{QS:all_cookies} %{IPV4:realip}"}
      }


    mutate {
       remove_field => "message"   # 把message字段去掉,它会将上面单项获取的信息做个汇总,这样就重复了
    }

  }

}

output {
   elasticsearch {
   hosts => "172.16.220.248:9200"
  }
#stdout { codec => rubydebug }
}

  测试一下配置文件

./logstash -t -f ../config/logstash.conf

  澳门新萄京官方网站 77

    重启logstash

  不出问题elasticsearch 和kibana中就会有数据了

        澳门新萄京官方网站 78

 

一、 简介 1 .1 介绍 ELK是三个开源工具组成,简单解释如下: Elasticsearch是个开源分布式搜索引擎,它的特点...

文件内容大致解释:


*Logstash 分为 Input、Output、Filter、Codec 等多种plugins。*
*Input:数据的输入源也支持多种插件,如elk官网的beats、file、graphite、http、kafka、redis、exec等等等、、、*
*Output:数据的输出目的也支持多种插件,如本文的elasticsearch,当然这可能也是最常用的一种输出。以及exec、stdout终端、graphite、http、zabbix、nagios、redmine等等、、、*
*Filter:使用过滤器根据日志事件的特征,对数据事件进行处理过滤后,在输出。支持grok、date、geoip、mutate、ruby、json、kv、csv、checksum、dns、drop、xml等等、、*
*Codec:编码插件,改变事件数据的表示方式,它可以作为对输入或输出运行该过滤。和其它产品结合,如rubydebug、graphite、fluent、nmap等等。*
*具体以上插件的细节可以去官网,介绍的挺详细的。下面说下该篇中的配置文件的含义:*

*input段:*
* file:使用file 作为输入源*
*  path: 日志的路径,支持/var/log*.log,及[ "/var/log/messages", "/var/log/*.log" ] 格式*
*  start_position: 从文件的开始读取事件。另外还有end参数*
*  ignore_older: 忽略早于24小时(默认值86400)的日志,设为0,即关闭该功能,以防止文件中的事件由于是早期的被logstash所忽略。*

*filter段:*
* grok:数据结构化转换工具*
*  match:匹配条件格式,将nginx日志作为message变量,并应用grok条件NGINXACCESS进行转换*
* geoip:该过滤器从geoip中匹配ip字段,显示该ip的地理位置*
*  source:ip来源字段,这里我们选择的是日志文件中的最后一个字段,如果你的是默认的nginx日志,选择第一个字段即可*
*  target:指定插入的logstash字断目标存储为geoip*
*  database:geoip数据库的存放路径*
*  add_field: 增加的字段,坐标经度*
*  add_field: 增加的字段,坐标纬度*
* mutate: 数据的修改、删除、类型转换*
*  convert: 将坐标转为float类型*
*  convert: http的响应代码字段转换成 int*
*  convert: http的传输字节转换成int*
*  replace: 替换一个字段*
*  remove_field: 移除message 的内容,因为数据已经过滤了一份,这里不必在用到该字段了。不然会相当于存两份*
* date: 时间处理,该插件很实用,主要是用你日志文件中事件的事件来对timestamp进行转换,导入老的数据必备!在这里曾让我困惑了很久哦。别再掉坑了*
*  match:匹配到timestamp字段后,修改格式为dd/MMM/yyyy:HH:mm:ss Z*
* mutate:数据修改*
*  remove_field: 移除timestamp字段。*

*output段:*
* elasticsearch:输出到es中*
*  host: es的主机ip+端口或者es 的FQDN+端口*
*  index: 为日志创建索引logstash-nginx-access-*,这里也就是kibana那里添加索引时的名称*


2.创建logstash配置文件之后,我们还要去建立grok使用的表达式,因为logstash 的配置文件里定义的使用转换格式语法,先去logstash的安装目录,默认安装位置:/opt/logstash/下,在该位置创建一个目录patterns:

root@log-monitor ~]# mkdir -pv /opt/logstash/patterns
mkdir: created directory ‘/opt/logstash/patterns’

在该目录下创建格式文件,内容如下:

[root@log-monitor ~]# cat /opt/logstash/patterns/nginx
NGUSERNAME [a-zA-Z.@- _%] 
NGUSER %{NGUSERNAME}
NGINXACCESS %{IPORHOST:clientip} - %{NOTSPACE:remote_user} [%{HTTPDATE:timestamp}] "(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})" %{NUMBER:response} (?:%{NUMBER:bytes}|-) %{QS:referrer} %{QS:agent} "%{IPV4:http_x_forwarded_for}"

*  注:该格式的最后有一个http_x_forwarded_for,因为我们日志是启用了cdn代理的。日志的第一段都是cdn的,最后一段才是真正客户的ip。*

*
*需要分析的nginx日志路径不在默认的位置,所以我根据logstash 的配置,建个目录先,并将日志文件拷贝进去:

[root@log-monitor ~]# mkdir -pv /data/nginx-logs/
[root@log-monitor ~]# ll /data/nginx-logs/
total 123476
-rw-r--r-- 1 nginx adm  126430102 Sep  9 16:02 access.log

3.然后就是logstash中配置的GeoIP的数据库解析ip了,这里是用了开源的ip数据源,用来分析客户端的ip归属地。官网在这里:MAXMIND

先把库下载到本地:

[root@log-monitor ~]# wget http://geolite.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz

解压到当前路径,并将它移动到上述我们配置的路径下,当然其它路径也是可以的,不过logstash 的配置文件也需要更改,如下:

[root@log-monitor ~]# gzip -d GeoLiteCity.dat.gz
[root@log-monitor ~]# mv GeoLiteCity.dat /etc/logstash/.

测试下logstash 的配置文件吧,使用它自带的命令去测试,如下:

[root@log-monitor ~]# /opt/logstash/bin/logstash -t -f /etc/logstash/conf.d/nginx_access.conf
Configuration OK

*  注:-t -f 参数顺序不能乱,格式就是定死的,-f 后面要跟配置文件;还有就是该测试只能测试语法,标点符号。如果逻辑上有错误的话,还是能启动的。这里就需要在正式启动运行时,多关注日志文件,位置:/var/log/logstash/logstash.log*

三、配置Elasticsearch

1.先修改es的配置文件如下(存放路径:/etc/elasticsearch/elasticsearch.yml):

[root@log-monitor ~]# egrep -v '^#|^$' /etc/elasticsearch/elasticsearch.yml
node.name: es-1
path.data: /data/elasticsearch/
network.host: 127.0.0.1
http.port: 9200

其它内容都保持默认。主要修改了es的数据存放路径,它默认的路径在根目录下,由于容量太小,而/data容量大。 根据你的实际情况考虑而定。

创建数据存放目录:

[root@log-monitor ~]# mkdir -pv /data/elasticsearch

修改该文件的权限所属者:

[root@log-monitor ~]# chown -R elasticsearch.elasticsearch /data/elasticsearch/

之后重启es,重启logstash。

[root@log-monitor ~]# systemctl restart elasticsearch
[root@log-monitor ~]# systemctl restart logstash

检查启动状态:

[root@log-monitor ~]# netstat -ulntp | grep java
tcp6       0      0 127.0.0.1:9200          :::*                    LISTEN      25988/java
tcp6       0      0 127.0.0.1:9300          :::*                    LISTEN      25988/java

 

[root@log-monitor ~]# systemctl status logstash
● logstash.service - LSB: Starts Logstash as a daemon.
   Loaded: loaded (/etc/rc.d/init.d/logstash)
   Active: active (running) since Fri 2016-09-09 16:14:17 CST; 38s ago
     Docs: man:systemd-sysv-generator(8)
  Process: 27195 ExecStart=/etc/rc.d/init.d/logstash start (code=exited, status=0/SUCCESS)
   CGroup: /system.slice/logstash.service
           └─27201 /bin/java -XX: UseParNewGC -XX: UseConcMarkSweepGC -Djava.awt.headless=true -XX:CMSInitiatingOccupancyFraction=75 -XX...

Sep 09 16:14:17 log-monitor systemd[1]: Starting LSB: Starts Logstash as a daemon....
Sep 09 16:14:17 log-monitor logstash[27195]: logstash started.
Sep 09 16:14:17 log-monitor systemd[1]: Started LSB: Starts Logstash as a daemon..

logstash 的日志查看:

[root@log-monitor ~]# tail -f /var/log/logstash/logstash.log
{:timestamp=>"2016-09-09T16:14:26.732000 0800", :message=>"Pipeline main started"}

从上面可以看到启动是正常的,我们在去看下es里的索引,应该已经在倒入数据了。

[root@log-monitor ~]# curl 'localhost:9200/_cat/indices?v'
health status index                            pri rep docs.count docs.deleted store.size pri.store.size
yellow open   .kibana                            1   1          1            0      3.1kb          3.1kb
yellow open   logstash-nginx-access-2016.09.08   5   1      69893            0     24.2mb         24.2mb
yellow open   logstash-nginx-access-2016.09.09   5   1        339            0    273.8kb        273.8kb

从上面看到数据已经在慢慢的导入了。大概需要一段时间,因为涉及到日志的过滤写入等。不过也很快啦。我们暂时不去配置kibana。先去安装nginx做个代理。

四、安装nginx 配置kibana代理

1.下载稳定版的nginx,这里使用yum安装。或者也可以选择编译,个人觉得rpm包已经足够可以使用。

[root@log-monitor ~]# wget https://nginx.org/packages/rhel/7/x86_64/RPMS/nginx-1.10.0-1.el7.ngx.x86_64.rpm

2.安装,并修改默认的配置文件

[root@log-monitor ~]# yum localinstall nginx-1.10.0-1.el7.ngx.x86_64.rpm –y

先将默认的default.conf 移动到其它目录中,或者直接删除也可以。我是直接删除了。然后新建一个elk.conf配置文件,内容如下:

[root@log-monitor ~]# cat /etc/nginx/conf.d/elk.conf
upstream elk {
    ip_hash;
    server 172.17.0.1:5601 max_fails=3 fail_timeout=30s;
    server 172.17.0.1:5601 max_fails=3 fail_timeout=30s;
}

server {
    listen 80;
    server_name localhost;
    server_tokens off;

    #close slow conn
    client_body_timeout 5s;
    client_header_timeout 5s;

    location / {
        proxy_pass http://elk/;
        index index.html index.htm;
        #auth
        auth_basic "ELK Private,Don't try GJ!";
        auth_basic_user_file /etc/nginx/.htpasswd;
    }


}

文件内容大致解释:

此处省略500字

3.新建一个http基本认证用户,使用的是httpd的一个工具组件,叫httpd-tools,用于生成加密的用户数据库

[root@log-monitor ~]# yum install httpd-tools –y

新建用户:

[root@log-monitor ~]# htpasswd -cm /etc/nginx/.htpasswd elk
New password:
Re-type new password:
Adding password for user elk

重启nginx,并检查状态

[root@log-monitor ~]# systemctl start nginx
[root@log-monitor ~]# systemctl status nginx
● nginx.service- nginx - high performance web server
  Loaded: loaded (/usr/lib/systemd/system/nginx.service; disabled; vendor preset: disabled)
  Active: active (running) since Fri2016-09-09 12:02:41 CST; 47s ago
    Docs:
  Process: 26422 ExecStart=/usr/sbin/nginx -c /etc/nginx/nginx.conf (code=exited, status=0/SUCCESS)
  Process:26420 ExecStartPre=/usr/sbin/nginx -t -c /etc/nginx/nginx.conf (code=exited, status=0/SUCCESS)
Main PID:26424 (nginx)
  CGroup:/system.slice/nginx.service
          ├─26424 nginx: master process /usr/sbin/nginx -c /etc/nginx/nginx.conf
          └─26425 nginx: worker process

Sep09 12:02:41 log-monitor systemd[1]: Starting nginx - high performance web server...
Sep09 12:02:41 log-monitor nginx[26420]: nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
Sep09 12:02:41 log-monitor nginx[26420]: nginx: configuration file /etc/nginx/nginx.conf test is successful
Sep09 12:02:41 log-monitor systemd[1]: Started nginx - high performance web server.
Sep09 12:03:13 log-monitor systemd[1]: Started nginx - high performance web server.
Sep09 12:03:26 log-monitor systemd[1]: Started nginx - high performance web server.

检查监听端口:

[root@log-monitor ~]# netstat -ultpn | grep :8888
tcp        0      0 0.0.0.0:8888            0.0.0.0:*               LISTEN      26424/nginx: master

修改iptables防火墙,插入以下规则,允许外面访问8888端口。由于我们最终是使用8888端口对外提供服务的,所以kibana的5601,以及es的9200、9300端口都不需要对外

[root@log-monitor ~]# iptables -I INPUT -p tcp -m state --state NEW --dport 8888 -j ACCEPT

4.访问一下网站,验证下:

澳门新萄京官方网站 79

输入我们建立的elk用户,登陆后,可以正常的访问kibana界面即可,如下图:

澳门新萄京官方网站 80

添加一个索引,这个索引名字就是我们之前在logstash配置文件中导入es中的那个,本文中是logstash-nginx-access-*,如下图:

澳门新萄京官方网站 81

查看索引,目前自由一个,设置为加星,即是discover默认突出显示的。

澳门新萄京官方网站 82

然后我们点击Discover,即可看到我们倒入的数据了。如下图:

澳门新萄京官方网站 83

最后这是我的dashboard,主要统计了web站点的客户端ip地址归属地、总的http传输次数、top10 来源ip、top10 请求点击页面、错误请求趋势、等等,如下,上几张图:

澳门新萄京官方网站 84

澳门新萄京官方网站 85

澳门新萄京官方网站 86

五、小结

搭建的过程中真的蛮辛苦的(毕竟都是英文),出了问题只能google,从不了解到熟悉,也算是种经历啦。不发牢骚了。。

画图容易,就如虎大牛所说:“先学会了如何查,画图自然而然就简单多了。当然还要知道其中每个字段的含义”。我的下篇文章将会主要说下如何画图(包括上面这些图中样式哈)。有没有点小福利的感觉?

好啦,大家周末玩的happy呀!另外祝天下所有美丽可爱善良的教师们,节日快乐。Y(^_^)Y

本文永久更新链接地址:http://www.linuxidc.com/Linux/2016-09/135094.htm

澳门新萄京官方网站 87

本文由澳门新萄京官方网站发布于服务器运维,转载请注明出处:澳门新萄京官方网站:搭建分布式日志分析平台

关键词: