一、搭建环境

系统环境:CentOS7

安装iptables:https://blog.csdn.net/momo_mutou/article/details/81739155

jdk1.8:  https://www.cnblogs.com/coder-lzh/p/8746609.html

ElasticSearch: https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.5.4.tar.gz

Logstash: https://artifacts.elastic.co/downloads/logstash/logstash-6.5.4.tar.gz

Kibana: https://artifacts.elastic.co/downloads/kibana/kibana-6.5.4-linux-x86_64.tar.gz

二、Elasticsearch安装配置

1.进入路径并远程下载安装包

$ cd /usr/local

$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.5.4.tar.gz

2.解压至/usr/local/目录下并删除安装包

$ tar -zxvf elasticsearch-6.5.4.tar.gz
$ rm -rf elasticsearch-6.5.4.tar.gz

3.启动试试

  • 进入安装目录的config配置文件
$ cd elasticsearch-6.5.4/config/
$ vim elasticsearch.yml
# 修改一下ES的监听地址,这样别的机器也可以访问
network.host: 0.0.0.0 # 默认的端口号
http.port: 9200 # enable cors,保证_site类的插件可以访问es
http.cors.enabled: true
http.cors.allow-origin: "*" #启用单节点
discovery.type: single-node #默认开启bootstrap检查 关掉
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
  • 启动需要非root,可以新建一个启动用户并设置权限
useradd elk         #创建用户elk
groupadd elk #创建组elk
useradd elk -g elk #将用户添加到组 # 修改文件所有者
chown -R elk:elk /usr/local/elasticsearch-6.5.4/
  • 设置内核参数
$ vim /etc/sysctl.conf

增加以下参数

vm.max_map_count=655360

执行生效配置

$ sysctl -p
  • 设置资源参数
$ vim /etc/security/limits.conf

在最后一行添加

* soft nofile 65536
* hard nofile 131072
* soft nproc 65536
* hard nproc 131072
  • 设置用户资源参数
$ vim /etc/security/limits.d/20-nproc.conf
设置elk用户参数
elk    soft    nproc     65536
  • 开放9200端口
# 关闭默认firewalld
$ systemctl stop firewalld.service # 查看开放端口列表
$ iptables -L –n
# 编辑开放端口信息文件
$ vim /etc/sysconfig/iptables
 

# 添加端口9200端口

-A INPUT -p tcp -m tcp --dport 9200 -j ACCEPT
 
# 重启iptables
service   iptables restart
  • 启动
# 以 elk 用户身份进行启动
$ cd /usr/local/elasticsearch-6.5.4/bin
$ su elk elasticsearch &

# 出现以下json说明启动成功
$ curl http://localhost:9200

# 在自己浏览器输入ip:9200出现以下json则说明成功
http://ip:9200/

  • 关闭
# 查找进程号
$ ps -ef | grep elastic
# kill掉这个进程
$ kill -9 进程号

三、Logstash安装配置

1.进入路径并远程下载安装包

$ cd /usr/local

$ wget https://artifacts.elastic.co/downloads/logstash/logstash-6.5.4.tar.gz

2.解压至/usr/local/目录下并删除安装包(和上面Elasticsearch安装一样我就不截图啦)

$tar -zxvf logstash-6.5.4.tar.gz
$ rm -rf logstash-6.5.4.tar.gz

3.启动试试

  • 创建配置文件
# 进入配置文件目录
$ cd logstash-6.5.4/config # 创建一个自定义的配置文件
$ vim logstash.conf # 输入最简单的配置- 使用 input 和 output 定义收集日志时的输入和输出的相关配置
input { stdin { } }
output {
stdout { codec=> rubydebug }
}
  • 启动
# 进入安装包的bin目录
$ cd /logstash-6.5.4/bin # 启动并指定配置文件 - 我输入了hello world! 出现如下图则说明成功启动
$ ./logstash -f /usr/local/logstash-6.5.4/config/logstash.conf

  • 使用Elasticsearch来收集Logstash的日志数据
# 进入配置文件目录
$ cd /logstash-6.5.4/config # 创建一个自定义的配置文件
$ vim logstash-test.conf # 输入最简单的配置- 使用 input 和 output 定义收集日志时的输入和输出的相关配置
input { stdin { } }
output {
elasticsearch {hosts => "192.168.30.132:9200" } #elasticsearch服务地址
stdout { codec=> rubydebug }
}
 
# 同上启动步骤 进入bin,不过这次指定的配置文件是新建的文件 - 我输入了hello world ~ 出现如下图则说明成功 
$ ./logstash -f /usr/local/logstash-6.5.4/config/logstash-test.conf

恭喜~现在你已经成功利用Logstash收集日志数据给Elasticsearch查询了~~~~

四、kibana的安装

1.进入路径并远程下载安装包

2.解压至/usr/local/目录下并删除安装包(和上面Elasticsearch安装一样我就不截图啦)

$ tar -zxvf kibana-6.5.4-linux-x86_64.tar.gz
$ mv kibana-6.5.4-linux-x86_64 kibana-6.5.4 # 修改一下文件名称
$ rm -rf kibana-6.5.4-linux-x86_64.tar.gz 

3.启动试试

  • 修改配置文件
$ cd /usr/local/kibana-6.5.4/config #进入安装的配置目录

$ vim kibana.yml # 修改文件

# 修改以下参数
server.port: 5601 # 开启默认端口5601
server.host: "0.0.0.0" # 默认值 : “localhost”,此设置指定后端服务器的主机
elasticsearch.url: "http://localhost:9200" # 指向elasticsearch服务的ip地址
kibana.index: “.kibana”
  • 开放5601端口
# 关闭默认firewalld
$ systemctl stop firewalld.service # 查看开放端口列表
$ iptables -L –n
# 编辑开放端口信息文件
$ vim /etc/sysconfig/iptables
 

# 添加端口9200端口

-A INPUT -p tcp -m tcp --dport 5601 -j ACCEPT
 
# 重启iptables
$ service iptables restart
  • 启动
$ cd /usr/local/kibana-6.5.4/bin
$ ./kibana &
 
# 注意哈
# 关闭我都用的kill哈哈哈 参考上面的步骤就行~
# 如果你之前启动的都停止了,需要按照之前启动步骤把Elasticsearch和Logstash启动,这样才可以完整的操作ELK~~~
# 在自己浏览器访问ip:5601出现以下界面~那么恭喜你~成功~
# 新建index步骤和Windows模式一样一样的,在这里就不重复啦~可参考 https://www.cnblogs.com/wanghao1874/p/10150236.html

到现在为止最基本的搭建和使用就完成了~欢迎大家补充指正~

以下是我遇到问题的参考链接(非常非常感谢~)

ELK步骤搭建

https://www.cnblogs.com/yypbingo/p/6839555.html

Elasticsearch5-启动检查(Bootstrap Checks)问题

https://yq.aliyun.com/ziliao/417380

https://blog.csdn.net/u012832088/article/details/80653951

Logstash启动实时收集日志

https://blog.csdn.net/qq_32292967/article/details/78622647

netstat 查看端口占用情况

https://blog.csdn.net/weixin_40425640/article/details/79065225

ELK日志分析平台系统CentOS7环境搭建和基本使用的更多相关文章

  1. ELK日志分析平台系统windows环境搭建和基本使用

    ELK(ElasticSearch, Logstash, Kibana),三者组合在一起就可以搭建实时的日志分析平台啦! Logstash主要用来收集.过滤日志信息并将其存储,所以主要用来提供信息. ...

  2. 搭建ELK日志分析平台(上)—— ELK介绍及搭建 Elasticsearch 分布式集群

    笔记内容:搭建ELK日志分析平台(上)-- ELK介绍及搭建 Elasticsearch 分布式集群笔记日期:2018-03-02 27.1 ELK介绍 27.2 ELK安装准备工作 27.3 安装e ...

  3. 浅谈ELK日志分析平台

    作者:珂珂链接:https://zhuanlan.zhihu.com/p/22104361来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非商业转载请注明出处. 小编的话 “技术干货”系列文章 ...

  4. ELK日志分析平台.1-搭建

    ELK日志分析平台.1-搭建 2017-12-28 | admin 一.简介1.核心组成    ELK由Elasticsearch.Logstash和Kibana三部分组件组成:    Elastic ...

  5. ELK日志分析平台

    ELK日志分析平台 ELK(1):  ELK-简介 ELK(2):  ELK-安装环境和安装包 ELK(3):  ELK-安装elasticsearch ELK(4):  ELK-安装logstash ...

  6. 1002-谈谈ELK日志分析平台的性能优化理念

    在生产环境中,我们为了更好的服务于业务,通常会通过优化的手段来实现服务对外的性能最大化,节省系统性能开支:关注我的朋友们都知道,前段时间一直在搞ELK,同时也记录在了个人的博客篇章中,从部署到各个服务 ...

  7. elk日志分析平台安装

    ELK安装 前言 什么是ELK? 通俗来讲,ELK是由Elasticsearch.Logstash.Kibana 三个开源软件的组成的一个组合体,这三个软件当中,每个软件用于完成不同的功能,ELK 又 ...

  8. 在Windows系统下搭建ELK日志分析平台

    简介: ELK由ElasticSearch.Logstash和Kiabana三个开源工具组成: Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索 ...

  9. ELK日志分析平台搭建

    ELK平台介绍 在搜索ELK资料的时候,发现这篇文章比较好,于是摘抄一小段: 以下内容来自:http://baidu.blog.51cto.com/71938/1676798 日志主要包括系统日志.应 ...

随机推荐

  1. Python序列结构

    python中常用的序列结构由列表.元组.字典.字符串.集合等,列表.元组.字符串等有序序列以及range对象均支持双向索引 是否有序 序列结构 是否是可变序列 有序序列 元组 不可变序列 有序序列 ...

  2. js-运动函数(盒子运动)

    注意move的js包在另一篇文章 <!DOCTYPE html><html> <head> <meta charset="UTF-8"&g ...

  3. vscode调试angular

    之前在Asp.net MVC + Angular1 的项目中,要调试前台代码都是用浏览器的开发者工具,使用正常,也没有感觉太大的不方便. 后来接触Angular2项目,因为它是要经过编译的,所以在浏览 ...

  4. 如何运用kali-xplico网络取证分析?点开看看吧

    0x00前言: 本工具仅供安全技术学习和教育用途,禁止非法使用!      前方高能 建议物理机选作,虚拟机快照,万一你那个东西做错了,我还得背锅0x01介绍:      Xplico网络数据取证工具 ...

  5. 第二十九节:Java基础知识-类,多态,Object,数组和字符串

    前言 Java基础知识-类,多态,Object,数组和字符串,回顾,继承,类的多态性,多态,向上转型和向下转型,Object,数组,多维数组,字符串,字符串比较. 回顾 类的定义格式: [类的修饰符] ...

  6. react小知识

    概述 有句话说得很好,代码是写给人看的,顺便让机器执行而已.所以我总结了一些写react不太注意的地方,供以后开发时参考,相信对其他人也有用. 组件封装 由于组件其实就是React.createEle ...

  7. 使用config 来管理ssh的会话

    通常利用 ssh 连接远程服务器,一般都要输入以下类型命令: ssh user@hostname -p port 如果拥有多个ssh账号,特别是像我这种喜欢在终端里直接ssh登录, 要记住每个ssh账 ...

  8. Maven - 实例-5-依赖冲突

    避免依赖冲突的原则 如果项目中的pom.xml没有指定依赖的信息,而是通过继承来引用依赖,则很有可能发生继承同一个依赖的多个版本,从而产生依赖冲突. Maven通过如下两个原则来避免依赖冲突: 1- ...

  9. LeetCode:151_Reverse Words in a String | 字符串中单词的逆反 | Medium

    题目:Reverse Words in a String Given an input string, reverse the string word by word. For example, Gi ...

  10. 【LeetCode】21.合并两个有序链表

    题目 将两个有序链表合并为一个新的有序链表并返回.新链表是通过拼接给定的两个链表的所有节点组成的. 示例: 输入:1->2->4, 1->3->4 输出:1->1-> ...