Centos7单机计划ELK x-pack

作者:电脑系统

    图片 1

    图片 2

实验拓扑图

图片 3

lab

1、jdk环境部署好(java-1.8.0-openjdk)
2、ELK软件版
redis 2.8 epel
logstash 1.5 rpm
es 1.7 rpm
kibana 4.1 rpm
3、安装部署
elk-node3:(logstash,nginx 192.168.9.120)
# ~]# yum install /data/pkg/logstash-1.5.4-1.noarch.rpm nginx -y
# systemctl start nginx.service
# systemctl enable nginx.service
# vim /etc/logstash/conf.d/nginx-redis.conf
# input {
# file {
# path => ["/var/log/nginx/access.log"]
# type => "nginxlog"
# }
# }
# output {
# redis {
# host => "192.168.9.119"
# port => "6379"
# data_type => "list"
# key => "logstash-nginxlog"
# }
# }
# ~]# /opt/logstash/bin/logstash -f /etc/logstash/conf.d/nginx-redis.conf --configtest
# ~]# /opt/logstash/bin/logstash -f /etc/logstash/conf.d/nginx-redis.conf

elk-node2:(redis 192.168.9.119)
# vim /etc/redis.conf
# bind 0.0.0.0
# systemctl start redis.service
# systemctl enable redis.service

elk-node1:(logstash-server 192.168.9.118)
# ~]# yum install /data/pkg/logstash-1.5.4-1.noarch.rpm -y
# vi /opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-0.3.0/patterns/nginx
# NGUSERNAME [a-zA-Z.@- _%]
# NGUSER %{NGUSERNAME}
# NGINXACCESS %{IPORHOST:clientip} - %{NOTSPACE:remote_user} [%{HTTPDATE:timestamp}] "(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})" %{NUMBER:response} (?:%{NUMBER:bytes}|-) %{QS:referrer} %{QS:agent} %{NOTSPACE:http_x_forwarded_for}
# ========
# vim /etc/logstash/conf.d/redis-grok-es.conf
# input {
# redis {
# host => "192.168.9.119"
# port => "6379"
# data_type => "list"
# key => "logstash-nginxlog"
# }
# }
# filter {
# grok {
# match => {"message" => "%{NGINXACCESS}"}
# }
# }
# output {
# elasticsearch {
# cluster => "loges"
# index => "logstash-%{ YYYY.MM.dd}"
# }
# }
elk:(elasticsearch,kibana 192.168.9.77)
# yum install -y elasticsearch-1.7.2.noarch.rpm
# vi /etc/elasticsearch/elasticsearch.yml
# cluster.name: loges
# node.name: "elk"
# 安装head插件,上传到plugins目录解压就可以用了
# cd /usr/share/elasticsearch/plugins/
# unzip elasticsearch-head-latest.zip
# mv elasticsearch-head-master/ head
# systemctl enable elasticsearch.service
# systemctl start elasticsearch.service
注意点:(简单部署测试)
1、elasticsearch是最终的数据分布式存储。
2、logstash-server实时去redis拉取数据
3、logstash-agent实时向redis推送数据
4、当运气起来后,redis中是看不到数据了,查看keys是显示没有一个keys,其实数据已经被推送到了ES。
5、web日志数据结构化(grok)是在logstash-server上实施(当然也可以在agent,在大规模环境下,数据统一由logstash-server处理会比较好,减少前段web负载,日志时间)
ES查看数据信息:

图片 4

head

# kibana
# tar xf kibana-4.1.2-linux-x64.tar.gz -C /usr/local/
# chown -R root.root kibana-4.1.2-linux-x64/
# ln -s kibana-4.1.2-linux-x64/ kibana
# vim kibana/config/kibana.yml
# elasticsearch_url: "http://localhost:9200"
# /usr/local/kibana/bin/kibana &
kibana展示:

图片 5

注意了:
做这个实验的时候,我系统时间没有同步ntp,时区也不对
ntpdate cn.ntp.org.cn
timedatectl set-timezone Asia/Shanghai
导致在kibana discovery数据的时候,没有一笔数据,最好是先设置时间,时区,
在kibana上查看最近几天的数据才可以发现数据。

图片 6

    图片 7

ELK分布式框架作为现在大数据时代分析日志的常为大家使用。现在我们就记录下单机CentOS7部署ELK的过程和遇到的问题。

  4、启动kibana
    systemctl start kibana
  5、访问测试(默认端口为5601)

    图片 8

一、下载需要软件
  1、ELK下载地址
    
  2、jdk下载地址
    
  3、所需软件列表
    #文件默认放到/opt目录下
    jdk-8u131-linux-x64.tar.gz
    elasticsearch-6.2.4.rpm
    kibana-6.2.4-x86_64.rpm
    logstash-6.2.4.rpm
二、 安装JAVA
  1、解压
    tar -zxvf jdk-8u131-linux-x64.tar.gz -C /usr/local/
    ln -s /usr/local/jdk1.8.0_131/ /usr/local/jdk
  2、配置环境
    vim /etc/profile
    #最后面添加以下配置文件
    export JAVA_HOME=/usr/local/jdk
    export JRE_HOME=$JAVA_HOME/jre
    export PATH=$PATH:$JAVA_HOME/bin
  3、验证结果
    source /etc/profile
    java -version
    #检查结果:
    java version "1.8.0_131"
    Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
    Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)
三、部署elasticsearch
  1、 rpm安装
    cd /opt
    rpm -ivh elasticsearch-6.2.4.rpm
    创建用户
    groupadd elasticsearch
    useradd -g elasticsearch elasticsearch
  2、修改elasticsearch配置文件
    2.1 vim /etc/elasticsearch/elasticsearch.yml
      [root@localhost elasticsearch]# cat elasticsearch.yml | grep -v "^#" | grep -v "^$"
      path.data: /var/lib/elasticsearch
      path.logs: /var/log/elasticsearch
      network.host: "0.0.0.0"
      http.port: 9200
    2.2 vim /etc/elasticsearch/jvm.options(根据自己服务器配置修改)
      -Xms512m
      -Xmx512m
    2.3 vim /etc/sysconfig/elasticsearch
      JAVA_HOME=/usr/local/jdk
  3、安装x-pack插件
​ ​ ​     cd /usr/share/elasticsearch/bin
​ ​ ​   ​ ./elasticsearch-plugin install x-pack
​ ​ ​          安装时间比较长,需耐心等待......​ ​ ​ ​ ​
​   ​4、启动elasticsearch
  ​ ​ ​  ​systemctl start elasticsearch
​   ​5、检查启动情况
​ ​ ​     ​5.1 查看启动状态
​ ​ ​ ​       ​systemctl status elasticsearch

    图片 9

    图片 10

  6、开启kibana
    后期生产环境中,只需:
    1、编写好conf文件
    2、启动logstash即可,systemctl start logstash
  7、kibana中x-pack认证问题

    图片 11

​ ​ ​     ​5.3 检查端口情况
      netstat -lntp

    可以看到对话框,输入用户名和密码就可以。默认的用户名:elastic

Linux公社的RSS地址:

  系统要求:Centos7(内核3.5及以上,2核4G)
  elk版本:6.2.4(较新版本)
  jdk版本:1.8(必须为java1.8版本)

  2、修改配置文件
    [root@localhost bin]# cat /etc/kibana/kibana.yml | grep -v "^#" | grep -v "^$"
    server.port: 5601
    server.host: "10.244.78.230"
    elasticsearch.url: ""
    elasticsearch.username: "elastic"
    elasticsearch.password: "123456"
  3、安装x-pack插件
    cd /usr/share/kibana/bin/
    ./kibana-plugin install x-pack

ELK分布式框架作为现在大数据时代分析日志的常为大家使用。现在我们就记录下单机Centos7部署ELK的过程和遇到的问题。

更多ELK相关教程见以下内容

  2、修改配置文件
    [root@localhost bin]# cat /etc/kibana/kibana.yml | grep -v "^#" | grep -v "^$"
    server.port: 5601
    server.host: "10.244.78.230"
    elasticsearch.url: ""
    elasticsearch.username: "elastic"
    elasticsearch.password: "123456"
  3、安装x-pack插件
    cd /usr/share/kibana/bin/
    ./kibana-plugin install x-pack

  4、启动kibana
    systemctl start kibana
  5、访问测试(默认端口为5601)

  6、开启kibana
    后期生产环境中,只需:
    1、编写好conf文件
    2、启动logstash即可,systemctl start logstash
  7、kibana中x-pack认证问题

    图片 12

   6、通过x-pack设置密码
    cd /usr/share/elasticsearch/bin/
    x-pack/setup-passwords interactive

    图片 13

    图片 14

本文永久更新链接地址

    图片 15

    图片 16

  5、打开kibana查看

    图片 17

五、部署logstash
  1、rpm安装
    cd /opt
    rpm -ivh logstash-6.2.4.rpm
  2、修改配置文件
    mkdir -p /usr/share/logstash/config
    cp /etc/logstash/log4j2.properties /usr/share/logstash/config
    [root@localhost logstash]# cat /etc/logstash/logstash.yml | grep -v "^#" | grep -v "^$"
    node.name: logstash
    path.data: /var/lib/logstash
    path.config: /etc/logstash/conf.d
    config.test_and_exit: True
    path.logs: /var/log/logstash
  3、编写测试conf
    一般放在/etc/logstash/conf.d目录下
    [root@localhost conf.d]# cat test.conf
    input {
      stdin {
        }
      }
    output {
      elasticsearch {
        hosts =>["10.244.78.230:9200"]
        index => "test-%{ YYYY.MM.dd}"
        user => elastic
        password => "123456"
      }
      stdout {
        codec => rubydebug
      }
    }
  4、测试运行
    /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/test.conf(用来临时做测试用

    图片 18

    图片 19

  系统要求:Centos7(内核3.5及以上,2核4G)
  elk版本:6.2.4(较新版本)
  jdk版本:1.8(必须为java1.8版本)

​ ​ ​ ​    5.2 查看启动日志
      cd /var/log/elasticsearch/
      tail -f elasticsearch.log

    图片 20

 

  5、打开kibana查看

  7、登陆测试
    打开浏览器访问:

ElasticSearch 的详细介绍:请点这里
ElasticSearch 的下载地址:请点这里

    图片 21

一、下载需要软件
  1、ELK下载地址
    
  2、jdk下载地址
    
  3、所需软件列表
    #文件默认放到/opt目录下
    jdk-8u131-linux-x64.tar.gz
    elasticsearch-6.2.4.rpm
    kibana-6.2.4-x86_64.rpm
    logstash-6.2.4.rpm
二、 安装JAVA
  1、解压
    tar -zxvf jdk-8u131-linux-x64.tar.gz -C /usr/local/
    ln -s /usr/local/jdk1.8.0_131/ /usr/local/jdk
  2、配置环境
    vim /etc/profile
    #最后面添加以下配置文件
    export JAVA_HOME=/usr/local/jdk
    export JRE_HOME=$JAVA_HOME/jre
    export PATH=$PATH:$JAVA_HOME/bin
  3、验证结果
    source /etc/profile
    java -version
    #检查结果:
    java version "1.8.0_131"
    Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
    Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)
三、部署elasticsearch
  1、 rpm安装
    cd /opt
    rpm -ivh elasticsearch-6.2.4.rpm
    创建用户
    groupadd elasticsearch
    useradd -g elasticsearch elasticsearch
  2、修改elasticsearch配置文件
    2.1 vim /etc/elasticsearch/elasticsearch.yml
      [root@localhost elasticsearch]# cat elasticsearch.yml | grep -v "^#" | grep -v "^$"
      path.data: /var/lib/elasticsearch
      path.logs: /var/log/elasticsearch
      network.host: "0.0.0.0"
      http.port: 9200
    2.2 vim /etc/elasticsearch/jvm.options(根据自己服务器配置修改)
      -Xms512m
      -Xmx512m
    2.3 vim /etc/sysconfig/elasticsearch
      JAVA_HOME=/usr/local/jdk
  3、安装x-pack插件
​ ​ ​     cd /usr/share/elasticsearch/bin
​ ​ ​   ​ ./elasticsearch-plugin install x-pack
​ ​ ​          安装时间比较长,需耐心等待......​ ​ ​ ​ ​
​   ​4、启动elasticsearch
  ​ ​ ​  ​systemctl start elasticsearch
​   ​5、检查启动情况
​ ​ ​     ​5.1 查看启动状态
​ ​ ​ ​       ​systemctl status elasticsearch

    图片 22

图片 23

    显示试用期为30天。预知如何增加时间,请看下回分解。

    图片 24

    

    访问成功!!!!
四、部署kibana
  1、rpm安装
    cd /opt
    rpm -ivh kibana-6.2.4-x86_64.rpm

    访问成功!!!!
四、部署kibana
  1、rpm安装
    cd /opt
    rpm -ivh kibana-6.2.4-x86_64.rpm

  7、登陆测试
    打开浏览器访问:

​ ​ ​     ​5.3 检查端口情况
      netstat -lntp

    可以看到对话框,输入用户名和密码就可以。默认的用户名:elastic

    图片 25

   6、通过x-pack设置密码
    cd /usr/share/elasticsearch/bin/
    x-pack/setup-passwords interactive

五、部署logstash
  1、rpm安装
    cd /opt
    rpm -ivh logstash-6.2.4.rpm
  2、修改配置文件
    mkdir -p /usr/share/logstash/config
    cp /etc/logstash/log4j2.properties /usr/share/logstash/config
    [root@localhost logstash]# cat /etc/logstash/logstash.yml | grep -v "^#" | grep -v "^$"
    node.name: logstash
    path.data: /var/lib/logstash
    path.config: /etc/logstash/conf.d
    config.test_and_exit: True
    path.logs: /var/log/logstash
  3、编写测试conf
    一般放在/etc/logstash/conf.d目录下
    [root@localhost conf.d]# cat test.conf
    input {
      stdin {
        }
      }
    output {
      elasticsearch {
        hosts =>["10.244.78.230:9200"]
        index => "test-%{ YYYY.MM.dd}"
        user => elastic
        password => "123456"
      }
      stdout {
        codec => rubydebug
      }
    }
  4、测试运行
    /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/test.conf(用来临时做测试用

基于CentOS 6.9搭建ELK环境指南 
Linux日志分析ELK环境搭建 
Logstash 监控日志文件时应对日志文件名改变的原理 
使用Elasticsearch Logstash Kibana搭建日志集中分析平台实践 
ELK日志管理平台搭建教程 
CenttOS 6.6下部署ELK日志告警系统
CentOS 7单机部署ELK 
CentOS 安装 Logstash 2.2.0 和 Elasticsearch 2.2.0 

    显示试用期为30天。预知如何增加时间,请看。

​ ​ ​ ​    5.2 查看启动日志
      cd /var/log/elasticsearch/
      tail -f elasticsearch.log

本文由分分快三计划发布,转载请注明来源

关键词: 分分快三计划 日记本 ELK