Logstash环境准备与安装

Logstash环境准备

关闭防火墙

#CentOS6 关闭防火墙
[root@linux-node1 ~]# /etc/init.d/iptables stop
#CentOS7 关闭防火墙
[root@linux-node1 ~]# systemctl stop firewalld

关闭SELINUX

#临时关闭
[root@linux-node1 ~]# setenforce 0
setenforce: SELinux is disabled
#永久关闭
[root@linux-node1 ~]# vim /etc/sysconfig/selinux
# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=disabled    ==>      //原来是enforcing 改成disabled
# SELINUXTYPE= can take one of these two values:
#     targeted - Targeted processes are protected,
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted

设置epel源

#CentOS6 下载epel源
[root@linux-node1 ~]# wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-6.repo
#CentOS7 下载epel源
[root@linux-node1 ~]# wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

修改时区

#将时区修改为上海时区
[root@linux-node1 ~]# cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
cp：是否覆盖"/etc/localtime"？ y
设置时间同步

#同步服务器时间（切记保证集群之间时间一致非常重要）
[root@linux-node1 ~]#ntpdate time1.aliyun.com
28 Feb 14:11:28 ntpdate[8904]: step time server 203.107.6.88 offset 3168820.831817 sec

部署Logstash
Logstash是一个开源的数据收集引擎，可以水平伸缩，而且logstash整个ELK当中拥有最多插件的一个组件，其可以接收来自不同来源的数据并统一输出到指定的且可以是多个不同目的地。

安装JDK环境

下载地址: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

#解压JDK安装包
[root@linux-node1 ~]# tar xf jdk-8u121-linux-x64.tar.gz
#将JDK安装包移动到安装目录下
[root@linux-node1 ~]# mv jdk1.8.0_121 /usr/local/
#做软链接(方便日后升级)
[root@linux-node1 ~]# ln -s /usr/local/jdk1.8.0_121 /usr/local/jdk1.8
#添加环境变量
[root@linux-node1 ~]# vim /etc/profile.d/jdk1.8.sh
export JAVA_HOME=/usr/local/jdk1.8
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
#加载环境变量
[root@linux-node1 ~]# source /etc/profile
#检查是否加载成功
[root@linux-node1 ~]# java -version
java version "1.8.0_121"
Java(TM) SE Runtime Environment (build 1.8.0_121-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.121-b13, mixed mode)

安装Logstash

下载地址: https://www.elastic.co/downloads/past-releases/logstash-5-3-0

#安装Logstash使用yum localinstall 自动安装依赖包
[root@linux-node1 ~]# yum localinstall elasticsearch-5.3.3.rpm
#给Logstash目录授权
[root@linux-node1 ~]# chown -R logstash.logstash /usr/share/logstash/

Logstash输入输出插件介绍

INPUT、OUTPUT插件

INPUT：插件使Logstash能够读取特定的事件源。
OUTPUT：插件将事件数据发送到特定的目的地，OUTPUT是事件流水线中的最后阶段。

Logstash输入输出插件测试

测试logstash标准输入到标准输出

#从标准输入到标准输出
[root@linux-node1 ~]# /usr/share/logstash/bin/logstash -e 'input { stdin{} } output { stdout{ codec => rubydebug }}'
#标准输入ls及返回结果
zls test
{
#时间戳
    "@timestamp" => 2019-03-05T09:41:40.198Z,
#版本信息
      "@version" => "1",
#主机
          "host" => "0.0.0.0",
#接收信息
       "message" => "zls test"
}

结果展示如下图所示：

试logstash标准输入到文件

#从标准输入到文件中
[root@linux-node1 ~]# /usr/share/logstash/bin/logstash -e 'input { stdin{} } output { file { path => "/tmp/test_%{+YYYY.MM.dd}.log"}}'

#输入bgx ugly
bgx ugly

#返回结果
15:15:33.940 [[main]>worker2] INFO  logstash.outputs.file - Opening file {:path=>"/tmp/test_2019.08.01.log"}

#查看tmp目录下是否有日志存在
[root@linux-node1 ~]# ll /tmp/
-rw-r--r-- 1 root root 107 Aug  1 15:15 test_2019.08.01.log

#查看日志内容
[root@linux-node1 ~]# cat /tmp/test_2019.08.01.log 
{"@timestamp":"2019-08-01T07:15:33.856Z","@version":"1","host":"linux-node1.98yz.cn","message":"bgx ugly"}

结果展示如下图所示：

测试logstash标准输入到ES

#从标准输入到Elasticsearch
[root@linux-node1 ~]# /usr/share/logstash/bin/logstash -e 'input { stdin{} } output { elasticsearch {hosts => ["192.168.6.241:9200"] index => "zls_%{+YYYY.MM.dd}" }}'

#输入内容
zls test stdin to ES
#在Elasticsearch中查看数据结果
[root@linux-node2 ~]# ll /data/elk/data/nodes/0/indices/
total 0
drwxr-xr-x 9 elasticsearch elasticsearch 74 Aug  1 13:53 Ewzdd46qRGKBNJe0THXhYA
drwxr-xr-x 9 elasticsearch elasticsearch 74 Aug  1 15:22 qPiYfF6SSC2PJ06ic8q-oQ

结果展示如下图所示：

打开浏览器，访问：http://192.168.6.241:9100