程序员开发实例大全宝库

网站首页 > 编程文章 正文

EFK集群部署(elk集群方案)

zazugpt 2024-09-09 10:29:30 编程文章 20 ℃ 0 评论

# EFK安装指南

摘 要:EFK是一套解决方案,并且都是开源软件,之间互相配合使用,完美衔接,高效的满足了很多场合的应用,是目前主流的一种日志系统。本章将带领学生学习如何搭建EFK。

关键词:EFK;Elasticsearch;FileBeat; Kibana;JDK

# 安装步骤

## 1.JDK安装

Elasticsearch需要运行在Java 8 及以上,所以需要先安装Java8,下载JavaJDK

**(1) 下载JDK**

可以通过此网址下载java 8版本

https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

当然如果要安装其他Java版本,可以将URL替换为其他版本的URL,只要版本不低于Java8就行,下载完成后,需要查看下载的文件是后缀是tar.gz(只针对tar.gz,如果是RPM或者其他格式的,请自行安装)

**(2) 解压**

$ tar -zxvf jdk-8u231-linux-x64.tar.gz

**(3) 编辑环境变量**

打开系统文件:

$ vi /etc/profile

在文件末尾加上以下内容:

JAVA_HOME=/usr/local/jdk1.8.0_231/

JRE_HOME=$JAVA_HOME/jre

CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

export JAVA_HOME JRE_HOME CLASS_PATH PATH

注意:其中/usr/local/jdk1.8.0_181/替换成自己Java jdk解压出来的主目录,wq保存退出,使配置生效

**(4) 使配置生效**

$ source /etc/profile

**(5) 查看是否安装成功**

$ java -version

如果正常输出Java版本则安装成功

## 2. Elasticsearch安装

下载Elasticsearch,本文以Elasticsearch6.2.4为例,当前Elasticsearch最新版本为Elasticsearch7.5.0

**(1)Elasticsearch**

$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.4.tar.gz

**(2)解压**

$ tar -zxvf elasticsearch-6.2.4.tar.gz

**(3)进入Elasticsearch主目录,修改配置**

**$ vi config/elasticsearch.yml**

添加以下配置,或者将对应的配置注释取消修改

network.host: 0.0.0.0

http.port: 9200

**$ vi /etc/security/limits.conf**

添加如下配置

* soft nproc 4096

* hard nproc 4096

**$ vi /etc/sysctl.conf**

添加如下配置

vm.max_map_count=262144

并执行命令

$ sysctl -p

**(4) 由于Elasticsearch不能使用root用户打开**

[注]所以需要专门创建一个用户来启动Elasticsearch

a.添加用户

$ adduser elastic

b.设置密码

$ passwd elastic

c.授权

$ chmod -R 777 /usr/local/elasticsearch-6.2.4

注意:创建的用户名为elastic,其中/usr/local/elasticsearch-6.2.4为解压出来的Elasticsearch主目录

**(5) 启动Elasticsearch**

a. 切换用户

$ su elastic

b. 启动命令

$ ./bin/elasticsearch

**(6) 验证是否成功**

$ curl 127.0.0.1:9200

会得到类似以下json



## 3. Kibana安装

**(1)下载Kibana**

$ wget https://artifacts.elastic.co/downloads/kibana/kibana-6.2.4-linux-x86_64.tar.gz

**(2)解压**

$ tar -zxvf kibana-6.2.4-linux-x86_64.tar.gz

**(3)进入主目录,修改配置**

$ vi config/kibana.yml

添加以下配置或者取消注释并修改

elasticsearch.url: "http://localhost:9200"

server.host: "0.0.0.0"

kibana.index: ".kibana"

注意:其中elasticsearch.url为Elasticsearch的地址,server.host默认是localhost,如果只是本地访问可以默认localhost,如果需要外网访问,可以设置为0.0.0.0

**(4)启动Kibana**

$ ./bin/kibana

## 4. Filebeat安装

**(1)下载FileBeat**

$ wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.2.4-linux-x86_64.tar.gz

**(2)解压**

$ tar -zxvf filebeat-6.2.4-linux-x86_64.tar.gz

**(3)进入主目录,修改配置**

***$ vi filebeat.yml***

找到以下的配置并修改

filebeat.prospectors:

- type: log

enabled: true

paths:

- /var/xxx/*.log

- /var/xxx/*.out

multiline.pattern: ^\[

multiline.negate: true

multiline.match: after

setup.kibana:

host: "localhost:5601"

output.elasticsearch:

hosts: ["localhost:9200"]

【注】

> 配置一定要注意格式,是以2个空格为子级,里面的配置都在配置文件中,列出来的只是要修改的部分,enabled默认为false,需要改成true才会收集日志。其中/var/xxx/*.log修改为自己的日志路径,注意-后面有一个空格,如果多个路径则添加一行,一定要注意新行前面的4个空格,multiline开头的几个配置取消注释就行了,是为了兼容多行日志的情况,setup.kibana中的host取消注释,根据实际情况配置地址,output.elasticsearch中的host也一样,根据实际情况配置

**(4)启动FileBeat**

$ ./filebeat -c /usr/local/filebeat-6.2.4-linux-x86_64/filebeat.yml

## 5.验证EFK

打开浏览器进入http://自己的ip地址:5601,会出现如下页面:



点击Management进入配置



点击进入Index Patterns



如图所示,FileBeat默认创建的Elasticsearch索引格式为filebeat-版本号-日期,所以需要在第一个红框的输入框中输入

filebeat-6.2.4-*

点击Next step进入下一步



点击Create index pattern完成配置,配置完成后点击 Discover就能查看日志了,还能搜索,如下图



至此EFK就搭建完毕了

Tags:

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

最近发表
标签列表