澳门新萄京官方网站-www.8455.com-澳门新萄京赌场网址

Kibana搭建日志收集分析系统,及问题解决

2019-07-07 作者:澳门新萄京官方网站   |   浏览(55)

ELK分布式框架当作当今大额时期解析日志的常为我们利用。未来我们就记录下单机Centos7安排ELK的过程和遭遇的标题。

ELK布满式框架作为前几日天津大学学数目时代解析日志的常为大家使用。将来大家就记下下单机CentOS7布署ELK的进度和碰着的标题。

试验拓扑图

澳门新萄京官方网站 1

lab

1、jdk意况布署好(java-1.8.0-openjdk)
2、ELK软件版
redis 2.8 epel
logstash 1.5 rpm
es 1.7 rpm
kibana 4.1 rpm
3、安装配备
elk-node3:(logstash,nginx 192.168.9.120)
# ~]# yum install /data/pkg/logstash-1.5.4-1.noarch.rpm nginx -y
# systemctl start nginx.service
# systemctl enable nginx.service
# vim /etc/logstash/conf.d/nginx-redis.conf
# input {
# file {
# path => ["/var/log/nginx/access.log"]
# type => "nginxlog"
# }
# }
# output {
# redis {
# host => "192.168.9.119"
# port => "6379"
# data_type => "list"
# key => "logstash-nginxlog"
# }
# }
# ~]# /opt/logstash/bin/logstash -f /etc/logstash/conf.d/nginx-redis.conf --configtest
# ~]# /opt/logstash/bin/logstash -f /etc/logstash/conf.d/nginx-redis.conf

elk-node2:(redis 192.168.9.119)
# vim /etc/redis.conf
# bind 0.0.0.0
# systemctl start redis.service
# systemctl enable redis.service

elk-node1:(logstash-server 192.168.9.118)
# ~]# yum install /data/pkg/logstash-1.5.4-1.noarch.rpm -y
# vi /opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-0.3.0/patterns/nginx
# NGUSERNAME [a-zA-Z.@- _%]
# NGUSER %{NGUSERNAME}
# NGINXACCESS %{IPORHOST:clientip} - %{NOTSPACE:remote_user} [%{HTTPDATE:timestamp}] "(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})" %{NUMBER:response} (?:%{NUMBER:bytes}|-) %{QS:referrer} %{QS:agent} %{NOTSPACE:http_x_forwarded_for}
# ========
# vim /etc/logstash/conf.d/redis-grok-es.conf
# input {
# redis {
# host => "192.168.9.119"
# port => "6379"
# data_type => "list"
# key => "logstash-nginxlog"
# }
# }
# filter {
# grok {
# match => {"message" => "%{NGINXACCESS}"}
# }
# }
# output {
# elasticsearch {
# cluster => "loges"
# index => "logstash-%{ YYYY.MM.dd}"
# }
# }
elk:(elasticsearch,kibana 192.168.9.77)
# yum install -y elasticsearch-1.7.2.noarch.rpm
# vi /etc/elasticsearch/elasticsearch.yml
# cluster.name: loges
# node.name: "elk"
# 安装head插件,上传到plugins目录解压就足以用了
# cd /usr/share/elasticsearch/plugins/
# unzip elasticsearch-head-latest.zip
# mv elasticsearch-head-master/ head
# systemctl enable elasticsearch.service
# systemctl start elasticsearch.service
注意点:(轻松布置测量检验)
1、elasticsearch是最终的多寡遍及式存款和储蓄。
2、logstash-server实时去redis拉取数据
3、logstash-agent实时向redis推送数据
4、当运气起来后,redis中是看不到数据了,查看keys是呈现未有多个keys,其实数据已经被推送到了ES。
5、web日志数据结构化(grok)是在logstash-server上施行(当然也得以在agent,在周围意况下,数据统一由logstash-server管理会相比好,减少前段web负载,日志时间)
ES查看数据新闻:

澳门新萄京官方网站 2

head

# kibana
# tar xf kibana-4.1.2-linux-x64.tar.gz -C /usr/local/
# chown -R root.root kibana-4.1.2-linux-x64/
# ln -s kibana-4.1.2-linux-x64/ kibana
# vim kibana/config/kibana.yml
# elasticsearch_url: "http://localhost:9200"
# /usr/local/kibana/bin/kibana &
kibana展示:

澳门新萄京官方网站 3

注意了:
做这一个实验的时候,作者系统时间未有一齐ntp,时区也不对
ntpdate cn.ntp.org.cn
timedatectl set-timezone Asia/Shanghai
形成在kibana discovery数据的时候,未有一笔数目,最棒是先安装时间,时区,
在kibana上查看近年来几天的数目技术够发掘数目。

澳门新萄京官方网站 4

 ELK stack是Elasticsearch、Logstash、Kibana四个开源软件的结合。前段时间都在Elastic.co集团名下。ELK是一套常用的开源日志监察和控制和解析系统,富含八个分布式索引与追寻服务Elasticsearch,

Elasticsearch Logstash Kibana搭建日志搜聚深入分析系统

 ELK stack是Elasticsearch、Logstash、Kibana多个开源软件的组合。前段时间都在Elastic.co公司名下。ELK是一套常用的开源日志监察和控制和剖判系统,蕴含贰个分布式索引与追寻服务Elasticsearch,

三个管理日志和事件的工具logstash,和三个数据可视化服务Kibana

logstash_1.5.3                  肩负日志的征集,管理和积累

elasticsearch-1.7.2            负担日志检索和剖判

kibana-4.1.2-linux-x64.tar.gz  肩负日志的可视化

redis-2.4.14                      DB以及日志传输的大路来管理

用一张图来表示他们中间的涉及

澳门新萄京官方网站 5

此文以五个服务器为例来安顿

服务器A:192.168.0.1  java elasticsearch redis kibana logstash(agent indexer)

服务器B:192.168.0.2  java logstash(agent)

首先安装服务器A相关软件

一、安装基础软件

yum -y install curl wget lrzsz axel

二、安装配备redis服务

1、安装tcl8.6.1

a) tar -xf tcl8.6.1-src.tar.gz --strip-components=1
b) cd tcl8.6.1/unix
c) ./configure --prefix=/usr/local
d) make
e) make test
f) make install 
g) make install-private-headers 
h) ln -v -sf tclsh8.6 /usr/bin/tclsh 
i) chmod -v 755 /usr/lib/libtcl8.6.so(可选,而且如报找不到文件,没涉及)

2、安装redis-3.0.2

wget
tar xzf redis-3.0.2.tar.gz /usr/local/redis
cd redis-3.0.2
make MALLOC=libc
make test
make install

2、配置redis

a) mkdir /etc/redis
b) mkdir /var/redis
c) cp utils/redis_init_script /etc/init.d/redis
d) vim /etc/init.d/redis
头顶加多:
#chkconfig: 345 60 60
#!/bin/bash
e) mkdir /var/redis/6379
f) cp redis.conf /etc/redis/6379.conf
g) vim /etc/redis/6379.conf
        #设置daemonize为yes
        #设置pidfile为/var/run/redis_6379.pid
        #设置loglevel
        #设置logfile为/var/log/redis_6379.log
        #设置dir为/var/redis/6379
h) sysctl vm.overcommit_memory=1
i) chkconfig --add redis
j) chkconfig redis on

3、重启服务

service redis start/stop

4、查看进程和端口
1)查看进程

ps -ef |grep redis
root    31927 25099  0 18:26 pts/0    00:00:00 vi /etc/init.d/redis

2)查看端口

netstat -tupnl |grep redis
tcp        0      0 0.0.0.0:6379                0.0.0.0:*                  LISTEN      31966/redis-server 
tcp        0      0 :::6379                    :::*                        LISTEN      31966/redis-server

三、安装java环境

1、安装包

yum -y list java*
yum -y install openjdk-7-jdk

2、查看版本

java -version
java version "1.7.0_91"
OpenJDK Runtime Environment (rhel-2.6.2.2.el6_7-x86_64 u91-b00)
OpenJDK 64-Bit Server VM (build 24.91-b01, mixed mode)

 

四、安装elasticsearch

1、下载elasticsearch

wget

2、安装elasticsearch

rpm -ivh elasticsearch-1.7.2.noarch.rpm

3、配置
1)备份配置

cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak

2)修改配置

echo "network.bind_host: 192.168.0.1" >> /etc/elasticsearch/elasticsearch.yml

4、启动elasticsearch服务

/etc/init.d/elasticsearch start
/etc/init.d/elasticsearch stop

5、查看进度和端口

1)查看进程

ps -ef |grep java

2)查看端口

netstat -tupnl |grep java

6、测试

curl -X GET
{
  "status" : 200,
  "name" : "Miguel O'Hara",
  "cluster_name" : "elasticsearch",
  "version" : {
    "number" : "1.7.2",
    "build_hash" : "e43676b1385b8125d647f593f7202acbd816e8ec",
    "build_timestamp" : "2015-09-14T09:49:53Z",
    "build_snapshot" : false,
    "lucene_version" : "4.10.4"
  },
  "tagline" : "You Know, for Search"
}

7、加多到开机运转

update-rc.d elasticsearch defaults
update-rc.d: using dependency based boot sequencing

五、安装logstash

1、下载logstash

wget 

2、安装logstash

rpm -ivh logstash-1.5.4-1.noarch.rpm

3、配置(私下认可未有这几个布局文件)

vim /etc/logstash/conf.d/logstash_indexer.conf
input {
        redis {
                host => "192.168.0.1"
                data_type => "list"
                key => "logstash:redis"
                type => "redis-input"
        port => "6379"
        }
}
output {
        elasticsearch {
                host => "192.168.0.1"
        }
}

4、运行服务

/etc/init.d/logstash start

5、使用jps -mlv或ps -ef来查看下进度

ps -ef|grep logst

6、设置开机运行

update-rc.d logstash defaults
update-rc.d: using dependency based boot sequencing

六、安装kibana(前端web)

1、下载

wget

澳门新萄京官方网站,2、解压到钦命目录

tar zxvf kibana-4.1.2-linux-x64.tar.gz -C /opt

3、创立日志目录

mkdir -p /opt/kibanalog

4、配置
1)备份配置

cp /opt/kibana-4.1.2-linux-x64/config/kibana.yml /opt/kibana-4.1.2-linux-x64/config/kibana.yml.bak

2)修改配置

sed -i 's!^elasticsearch_url: .*!elasticsearch_url: "' /opt/kibana-4.1.2-linux-x64/config/kibana.yml
sed -i 's!^host: .*!host: "192.168.0.1"!g' /opt/kibana-4.1.2-linux-x64/config/kibana.yml

5、运转服务

cd  /opt/kibanalog && nohup /opt/kibana-4.1.2-linux-x64/bin/kibana &

6、查看进度和端口
1)查看进度

ps aux |grep kibana

2)查看端口

netstat -tupnl|grep 5601

7、在Windows上访问

8、设置开机运维

echo "cd /opt/kibanalog && nohup /opt/kibana-4.1.2-linux-x64/bin/kibana &" >> /etc/rc.local

到此服务器A的有关软件全部装置到位;

这两天安装日志采撷端的先后(服务器B),可以有八个

clientB安装配备logstash(agent)

1、安装java环境

yum -y list java*
yum -y install openjdk-7-jdk

1、下载logstash

wget 

2、安装logstash

rpm -ivh logstash-1.5.4-1.noarch.rpm

3、配置(暗中同意未有那个布局文件)
1)配置logstash_agent

vim /etc/logstash/conf.d/logstash_agent.conf

input {
    file {
        path => "/tmp/*.log"
        start_position => beginning
    }
}

output {
        redis {
                host => "192.168.0.1"
                data_type => "list"
                key => "logstash:redis"
        }
}

5、运转服务
 
/etc/init.d/logstash start
logstash started.

6、使用jps -mlv或ps -ef来查阅下进程

ps -ef|grep logst

7、设置开机运转

update-rc.d logstash defaults
update-rc.d: using dependency based boot sequencing

至此服务器B也设置配备实现,依据日志收罗端的急需能够配备N个服务B

如何查看日志:

1、查看redis日志

cat /var/log/redis/redis-server.log

2、查看elasticsearch日志

cat /var/log/elasticsearch/elasticsearch.log
tail -300f  /var/log/elasticsearch/elasticsearch.log

3、查看logstash日志

cat /var/log/logstash/logstash.errtail -30f /var/log/logstash/logstash.err

4、查看kibana日志

cat /opt/kibanalog/nohup.out
tail -30f /opt/kibanalog/nohup.out

错误处理

1)unable to fetch mapping, do you have indices matching the pattem?

kibana 报这几个荒唐便是因为从没从logstash 过来任何数据貌似检查一下数据传输

ELK stack是Elasticsearch、Logstash、Kibana多个开源软件的组成。近年来都在Elastic.co公司名下。ELK是一套...

  系统需求:Centos7(内核3.5及以上,2核4G)
  elk版本:6.2.4(较新本子)
  jdk版本:1.8(必须为java1.8版本)

  系统供给:Centos7(内核3.5及以上,2核4G)
  elk版本:6.2.4(较新本子)
  jdk版本:1.8(必须为java1.8版本)

八个管制日志和事件的工具logstash,和三个多少可视化服务Kibana

一、下载要求软件
  1、ELK下载地址
    
  2、jdk下载地址
    
  3、所需软件列表
    #文件暗许放到/opt目录下
    jdk-8u131-linux-x64.tar.gz
    elasticsearch-6.2.4.rpm
    kibana-6.2.4-x86_64.rpm
    logstash-6.2.4.rpm
二、 安装JAVA
  1、解压
    tar -zxvf jdk-8u131-linux-x64.tar.gz -C /usr/local/
    ln -s /usr/local/jdk1.8.0_131/ /usr/local/jdk
  2、配置意况
    vim /etc/profile
    #最后边加多以下配置文件
    export JAVA_HOME=/usr/local/jdk
    export JRE_HOME=$JAVA_HOME/jre
    export PATH=$PATH:$JAVA_HOME/bin
  3、验证结果
    source /etc/profile
    java -version
    #检查结果:
    java version "1.8.0_131"
    Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
    Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)
三、部署elasticsearch
  1、 rpm安装
    cd /opt
    rpm -ivh elasticsearch-6.2.4.rpm
    创立用户
    groupadd elasticsearch
    useradd -g elasticsearch elasticsearch
  2、修改elasticsearch配置文件
    2.1 vim /etc/elasticsearch/elasticsearch.yml
      [root@localhost elasticsearch]# cat elasticsearch.yml | grep -v "^#" | grep -v "^$"
      path.data: /var/lib/elasticsearch
      path.logs: /var/log/elasticsearch
      network.host: "0.0.0.0"
      http.port: 9200
    2.2 vim /etc/elasticsearch/jvm.options(根据本人服务器配置修改)
      -Xms512m
      -Xmx512m
    2.3 vim /etc/sysconfig/elasticsearch
      JAVA_HOME=/usr/local/jdk
  3、安装x-pack插件
​ ​ ​     cd /usr/share/elasticsearch/bin
​ ​ ​   ​ ./elasticsearch-plugin install x-pack
​ ​ ​          安装时间比较长,需耐心等待......​ ​ ​ ​ ​
​   ​4、启动elasticsearch
  ​ ​ ​  ​systemctl start elasticsearch
​   ​5、检查运营状态
​ ​ ​     ​5.1 查看运营状态
​ ​ ​ ​       ​systemctl status elasticsearch

一、下载须要软件
  1、ELK下载地址
    
  2、jdk下载地址
    
  3、所需软件列表
    #文件暗中同意放到/opt目录下
    jdk-8u131-linux-x64.tar.gz
    elasticsearch-6.2.4.rpm
    kibana-6.2.4-x86_64.rpm
    logstash-6.2.4.rpm
二、 安装JAVA
  1、解压
    tar -zxvf jdk-8u131-linux-x64.tar.gz -C /usr/local/
    ln -s /usr/local/jdk1.8.0_131/ /usr/local/jdk
  2、配置景况
    vim /etc/profile
    #终极面加多以下配置文件
    export JAVA_HOME=/usr/local/jdk
    export JRE_HOME=$JAVA_HOME/jre
    export PATH=$PATH:$JAVA_HOME/bin
  3、验证结果
    source /etc/profile
    java -version
    #反省结果:
    java version "1.8.0_131"
    Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
    Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)
三、部署elasticsearch
  1、 rpm安装
    cd /opt
    rpm -ivh elasticsearch-6.2.4.rpm
    成立用户
    groupadd elasticsearch
    useradd -g elasticsearch elasticsearch
  2、修改elasticsearch配置文件
    2.1 vim /etc/elasticsearch/elasticsearch.yml
      [root@localhost elasticsearch]# cat elasticsearch.yml | grep -v "^#" | grep -v "^$"
      path.data: /var/lib/elasticsearch
      path.logs: /var/log/elasticsearch
      network.host: "0.0.0.0"
      http.port: 9200
    2.2 vim /etc/elasticsearch/jvm.options(根据本人服务器配置修改)
      -Xms512m
      -Xmx512m
    2.3 vim /etc/sysconfig/elasticsearch
      JAVA_HOME=/usr/local/jdk
  3、安装x-pack插件
​ ​ ​     cd /usr/share/elasticsearch/bin
​ ​ ​   ​ ./elasticsearch-plugin install x-pack
​ ​ ​          安装时间相比较长,需耐心等待......​ ​ ​ ​ ​
​   ​4、启动elasticsearch
  ​ ​ ​  ​systemctl start elasticsearch
​   ​5、检查运转状态
​ ​ ​     ​5.1 查看运营状态
​ ​ ​ ​       ​systemctl status elasticsearch

logstash_1.5.3                  担负日志的搜罗,管理和积累

    澳门新萄京官方网站 6

    澳门新萄京官方网站 7

elasticsearch-1.7.2            担当日志检索和剖判

​ ​ ​ ​    5.2 查看运行日志
      cd /var/log/elasticsearch/
      tail -f elasticsearch.log

​ ​ ​ ​    5.2 查看运行日志
      cd /var/log/elasticsearch/
      tail -f elasticsearch.log

kibana-4.1.2-linux-x64.tar.gz  担任日志的可视化

    澳门新萄京官方网站 8

    澳门新萄京官方网站 9

redis-2.4.14                      DB以及日志传输的大道来管理

​ ​ ​     ​5.3 检查端口境况
      netstat -lntp

​ ​ ​     ​5.3 检查端口情状
      netstat -lntp

用一张图来代表他们之间的关系

    澳门新萄京官方网站 10

    澳门新萄京官方网站 11

澳门新萄京官方网站 12

   6、通过x-pack设置密码
    cd /usr/share/elasticsearch/bin/
    x-pack/setup-passwords interactive

   6、通过x-pack设置密码
    cd /usr/share/elasticsearch/bin/
    x-pack/setup-passwords interactive

此文以三个服务器为例来布署

    澳门新萄京官方网站 13

    澳门新萄京官方网站 14

服务器A:192.168.0.1  java elasticsearch redis kibana logstash(agent indexer)

  7、登入测量检验
    张开浏览器访谈:

  7、登入测量试验
    张开浏览器访问:

服务器B:192.168.0.2  java logstash(agent)

    澳门新萄京官方网站 15

    澳门新萄京官方网站 16

率先安装服务器A相关软件

    能够见到对话框,输入用户名和密码就足以。默许的用户名:elastic

    能够看看对话框,输入用户名和密码就足以。默许的用户名:elastic

一、安装基础软件

    澳门新萄京官方网站 17

    澳门新萄京官方网站 18

yum -y install curl wget lrzsz axel

    访谈成功!!!!
四、部署kibana
  1、rpm安装
    cd /opt
    rpm -ivh kibana-6.2.4-x86_64.rpm

    访谈成功!!!!
四、部署kibana
  1、rpm安装
    cd /opt
    rpm -ivh kibana-6.2.4-x86_64.rpm

二、安装配置redis服务

  2、修改配置文件
    [root@localhost bin]# cat /etc/kibana/kibana.yml | grep -v "^#" | grep -v "^$"
    server.port: 5601
    server.host: "10.244.78.230"
    elasticsearch.url: ""
    elasticsearch.username: "elastic"
    elasticsearch.password: "123456"
  3、安装x-pack插件
    cd /usr/share/kibana/bin/
    ./kibana-plugin install x-pack

  2、修改配置文件
    [root@localhost bin]# cat /etc/kibana/kibana.yml | grep -v "^#" | grep -v "^$"
    server.port: 5601
    server.host: "10.244.78.230"
    elasticsearch.url: ""
    elasticsearch.username: "elastic"
    elasticsearch.password: "123456"
  3、安装x-pack插件
    cd /usr/share/kibana/bin/
    ./kibana-plugin install x-pack

1、安装tcl8.6.1

  4、启动kibana
    systemctl start kibana
  5、访问测验(暗中认可端口为5601)

  4、启动kibana
    systemctl start kibana
  5、访问测量检验(私下认可端口为5601)

a) tar -xf tcl8.6.1-src.tar.gz --strip-components=1
b) cd tcl8.6.1/unix
c) ./configure --prefix=/usr/local
d) make
e) make test
f) make install 
g) make install-private-headers 
h) ln -v -sf tclsh8.6 /usr/bin/tclsh 
i) chmod -v 755 /usr/lib/libtcl8.6.so(可选,何况如报找不到文件,没提到)

    澳门新萄京官方网站 19

    澳门新萄京官方网站 20

2、安装redis-3.0.2

五、部署logstash
  1、rpm安装
    cd /opt
    rpm -ivh logstash-6.2.4.rpm
  2、修改配置文件
    mkdir -p /usr/share/logstash/config
    cp /etc/logstash/log4j2.properties /usr/share/logstash/config
    [root@localhost logstash]# cat /etc/logstash/logstash.yml | grep -v "^#" | grep -v "^$"
    node.name: logstash
    path.data: /var/lib/logstash
    path.config: /etc/logstash/conf.d
    config.test_and_exit: True
    path.logs: /var/log/logstash
  3、编写测量试验conf
    一般放在/etc/logstash/conf.d目录下
    [root@localhost conf.d]# cat test.conf
    input {
      stdin {
        }
      }
    output {
      elasticsearch {
        hosts =>["10.244.78.230:9200"]
        index => "test-%{ YYYY.MM.dd}"
        user => elastic
        password => "123456"
      }
      stdout {
        codec => rubydebug
      }
    }
  4、测量检验运营
    /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/test.conf(用来有时做测量检验用Kibana搭建日志收集分析系统,及问题解决。)

五、部署logstash
  1、rpm安装
    cd /opt
    rpm -ivh logstash-6.2.4.rpm
  2、修改配置文件
    mkdir -p /usr/share/logstash/config
    cp /etc/logstash/log4j2.properties /usr/share/logstash/config
    [root@localhost logstash]# cat /etc/logstash/logstash.yml | grep -v "^#" | grep -v "^$"
    node.name: logstash
    path.data: /var/lib/logstash
    path.config: /etc/logstash/conf.d
    config.test_and_exit: True
    path.logs: /var/log/logstash
  3、编写测验conf
    一般放在/etc/logstash/conf.d目录下
    [root@localhost conf.d]# cat test.conf
    input {
      stdin {
        }
      }
    output {
      elasticsearch {
        hosts =>["10.244.78.230:9200"]
        index => "test-%{ YYYY.MM.dd}"
        user => elastic
        password => "123456"
      }
      stdout {
        codec => rubydebug
      }
    }
  4、测量试验运转
    /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/test.conf(用来有的时候做测量检验用

wget
tar xzf redis-3.0.2.tar.gz /usr/local/redis
cd redis-3.0.2
make MALLOC=libc
make test
make install

    澳门新萄京官方网站 21

    澳门新萄京官方网站 22

2、配置redis

  5、打开kibana查看

  5、打开kibana查看

a) mkdir /etc/redis
b) mkdir /var/redis
c) cp utils/redis_init_script /etc/init.d/redis
d) vim /etc/init.d/redis
底部增多:
#chkconfig: 345 60 60
#!/bin/bash
e) mkdir /var/redis/6379
f) cp redis.conf /etc/redis/6379.conf
g) vim /etc/redis/6379.conf
        #设置daemonize为yes
        #设置pidfile为/var/run/redis_6379.pid
        #设置loglevel
        #设置logfile为/var/log/redis_6379.log
        #设置dir为/var/redis/6379
h) sysctl vm.overcommit_memory=1
i) chkconfig --add redis
j) chkconfig redis on

    澳门新萄京官方网站 23

    澳门新萄京官方网站 24

3、重启服务

  6、开启kibana
    中期生产条件中,只需:
    1、编写好conf文件
    2、启动logstash即可,systemctl start logstash
  7、kibana中x-pack认证难点

  6、开启kibana
    中期生产碰着中,只需:
    1、编写好conf文件
    2、启动logstash即可,systemctl start logstash
  7、kibana中x-pack认证难题

service redis start/stop

    澳门新萄京官方网站 25

    澳门新萄京官方网站 26

4、查看进度和端口
1)查看进度

    呈现试用期为30天。预见怎么样充实时间,请看下回分解。

    展现试用期为30天。预言怎样增添时间,请看。

ps -ef |grep redis
root    31927 25099  0 18:26 pts/0    00:00:00 vi /etc/init.d/redis

    

越多ELK相关学科见以下内容

2)查看端口

 

根据CentOS 6.9搭建ELK意况指南 
Linux日志分析ELK景况搭建 
Logstash 监察和控制日志文件时应对日记文件名改成的规律 
使用Elasticsearch Logstash Kibana搭建日志集中深入分析平台进行 
ELK日志管理平台搭建教程 
CenttOS 6.6下安插ELK日志告警系统
CentOS 7单机布署ELK 
CentOS 安装 Logstash 2.2.0 和 Elasticsearch 2.2.0 

netstat -tupnl |grep redis
tcp        0      0 0.0.0.0:6379                0.0.0.0:*                  LISTEN      31966/redis-server 
tcp        0      0 :::6379                    :::*                        LISTEN      31966/redis-server

ElasticSearch 的详尽介绍:请点这里
ElasticSearch 的下载地址:请点这里

三、安装java环境

Linux公社的RSS地址:

1、安装包

本文恒久更新链接地址

yum -y list java*
yum -y install openjdk-7-jdk

澳门新萄京官方网站 27

2、查看版本

java -version
java version "1.7.0_91"
OpenJDK Runtime Environment (rhel-2.6.2.2.el6_7-x86_64 u91-b00)
OpenJDK 64-Bit Server VM (build 24.91-b01, mixed mode)

 

四、安装elasticsearch

1、下载elasticsearch

wget

2、安装elasticsearch

rpm -ivh elasticsearch-1.7.2.noarch.rpm

3、配置
1)备份配置

cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak

2)修改配置

echo "network.bind_host: 192.168.0.1" >> /etc/elasticsearch/elasticsearch.yml

4、启动elasticsearch服务

/etc/init.d/elasticsearch start
/etc/init.d/elasticsearch stop

5、查看进度和端口

1)查看进程

ps -ef |grep java

2)查看端口

netstat -tupnl |grep java

6、测试

curl -X GET
{
  "status" : 200,
  "name" : "Miguel O'Hara",
  "cluster_name" : "elasticsearch",
  "version" : {
    "number" : "1.7.2",
    "build_hash" : "e43676b1385b8125d647f593f7202acbd816e8ec",
    "build_timestamp" : "2015-09-14T09:49:53Z",
    "build_snapshot" : false,
    "lucene_version" : "4.10.4"
  },
  "tagline" : "You Know, for Search"
}

7、增多到开机运营

update-rc.d elasticsearch defaults
update-rc.d: using dependency based boot sequencing

五、安装logstash

1、下载logstash

wget 

2、安装logstash

rpm -ivh logstash-1.5.4-1.noarch.rpm

3、配置(暗许未有那些布局文件)

vim /etc/logstash/conf.d/logstash_indexer.conf
input {
        redis {
                host => "192.168.0.1"
                data_type => "list"
                key => "logstash:redis"
                type => "redis-input"
        port => "6379"
        }
}
output {
        elasticsearch {
                host => "192.168.0.1"
        }
}

4、运维服务

/etc/init.d/logstash start

5、使用jps -mlv或ps -ef来查看下进度

ps -ef|grep logst

6、设置开机运转

update-rc.d logstash defaults
update-rc.d: using dependency based boot sequencing

六、安装kibana(前端web)

1、下载

wget

2、解压到内定目录

tar zxvf kibana-4.1.2-linux-x64.tar.gz -C /opt

3、创制日志目录

mkdir -p /opt/kibanalog

4、配置
1)备份配置

cp /opt/kibana-4.1.2-linux-x64/config/kibana.yml /opt/kibana-4.1.2-linux-x64/config/kibana.yml.bak

2)修改配置

sed -i 's!^elasticsearch_url: .*!elasticsearch_url: "' /opt/kibana-4.1.2-linux-x64/config/kibana.yml
sed -i 'sKibana搭建日志收集分析系统,及问题解决。!^host: .*!host: "192.168.0.1"!g' /opt/kibana-4.1.2-linux-x64/config/kibana.yml

5、运行服务

cd  /opt/kibanalog && nohup /opt/kibana-4.1.2-linux-x64/bin/kibana &

6、查看进程和端口
1)查看进度

ps aux |grep kibana

2)查看端口

netstat -tupnl|grep 5601

7、在Windows上访问

8、设置开机运维

echo "cd /opt/kibanalog && nohup /opt/kibana-4.1.2-linux-x64/bin/kibana &" >> /etc/rc.local

到此服务器A的相干软件全体安装达成;

今后安装日志采撷端的次第(服务器B),能够有多个

clientB安装配备logstash(agent)

1、安装java环境

yum -y list java*
yum -y install openjdk-7-jdk

1、下载logstash

wget 

2、安装logstash

rpm -ivh logstash-1.5.4-1.noarch.rpm

3、配置(暗许没有那么些布局文件)
1)配置logstash_agent

vim /etc/logstash/conf.d/logstash_agent.conf

input {
    file {
        path => "/tmp/*.log"
        start_position => beginning
    }
}

output {
        redis {
                host => "192.168.0.1"
                data_type => "list"
                key => "logstash:redis"
        }
}

5、运维服务
 
/etc/init.d/logstash start
logstash started.

6、使用jps -mlv或ps -ef来查阅下进度

ps -ef|grep logst

7、设置开机运转

update-rc.d logstash defaults
update-rc.d: using dependency based boot sequencing

从那之后服务器B也设置配备完毕,依照日志搜集端的急需能够配备N个服务B

如何查看日志:

1、查看redis日志

cat /var/log/redis/redis-server.log

2、查看elasticsearch日志

cat /var/log/elasticsearch/elasticsearch.log
tail -300f  /var/log/elasticsearch/elasticsearch.log

3、查看logstash日志

cat /var/log/logstash/logstash.errtail -30f /var/log/logstash/logstash.err

4、查看kibana日志

cat /opt/kibanalog/nohup.out
tail -30f /opt/kibanalog/nohup.out

错误管理

1)unable to fetch mapping, do you have indices matching the pattem?

kibana 报那一个荒唐正是因为尚未从logstash 过来任何数据一般检查一下数据传输

正文永世更新链接地址:http://www.linuxidc.com/Linux/2018-01/150653.htm

澳门新萄京官方网站 28

本文由澳门新萄京官方网站发布于澳门新萄京官方网站,转载请注明出处:Kibana搭建日志收集分析系统,及问题解决

关键词: