Elasticsearch日志分析系统
Elasticsearch日志分析系统
作者:尹正杰
版权声明:原创作品,谢绝转载!否则将追究法律责任。
Node(节点):
单个的装有Elasticsearch服务并且提供故障转移和扩展的服务器。
Cluster(集群):
一个集群就是由一个或多个node组织在一起,共同工作,共同分享整个数据具有负载均衡功能的集群。
Document(文档):
一个文档是可以被索引的基础信息单元。
Index(索引):
索引就是一个拥有几分相似特征的文档的集合。
Type(类型):
一个索引中,你可以定义一种或多种类型。
Field(列):
Field是Elasticsearchd的最小单位,相当于数据的某一列。
Shards(分片):
Elasticsearch将索引分成若干份,每个部门就是一个shard。
Replicas(复制):
Replicas是索引一份或多份拷贝。
三.Elasticsearch对应数据库的关系



[root@yinzhengjie ~]# cat /etc/redhat-release
CentOS release 6.6 (Final)
[root@yinzhengjie ~]#
[root@yinzhengjie ~]# uname -r
2.6.-.el6.x86_64
[root@yinzhengjie ~]#
[root@yinzhengjie ~]# uname -m
x86_64
[root@yinzhengjie ~]#

b>.卸载旧版本的JAVA
[root@yinzhengjie jdk]# java -version ----->检查当前版本
java version "1.7.0_65" ------>当前版本是1.
OpenJDK Runtime Environment (rhel-2.5.1.2.el6_5-x86_64 u65-b17)
OpenJDK -Bit Server VM (build 24.65-b04, mixed mode)
[root@yinzhengjie jdk]#
[root@yinzhengjie jdk]# yum -y groupremove java* ------>卸载相关Java组件
[root@yinzhengjie jdk]# java -version ------>再次查看当前Java版本
java version "1.5.0" ------->当前版本是1.
gij (GNU libgcj) version 4.4. (Red Hat 4.4.-) Copyright (C) Free Software Foundation, Inc.
This is free software; see the source for copying conditions. There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.
[root@yinzhengjie jdk]#
[root@yinzhengjie jdk]# yum -y remove java*
[root@yinzhengjie jdk]# java -version ------->再次查看Java版本应该报错说明卸载成功。
-bash: /usr/bin/java: 没有那个文件或目录
[root@yinzhengjie jdk]#
c>.安装Java
[root@yinzhengjie ~]# mkdir -pv /yinzhengjie/application/jdk && cd /yinzhengjie/application/jdk
[root@yinzhengjie jdk]# yum -y install lrzsz
[root@yinzhengjie jdk]# rz ------>上传我们已经下载的文件
rz waiting to receive.
zmodem trl+C ȡ % KB KB/s :: Errorsr.gz... [root@yinzhengjie jdk]# ll
总用量
-rw-r--r--+ root root 10月 : jdk-8u151-linux-x64.tar.gz
[root@yinzhengjie jdk]#
[root@yinzhengjie jdk]# tar xf jdk-8u151-linux-x64.tar.gz
[root@yinzhengjie jdk1..0_151]# tail - /etc/profile
#ADD BY YINZHENGJIE
export JAVA_HOME=/yinzhengjie/application/jdk/jdk1..0_151
export JAVA_BIN=/yinzhengjie/application/jdk/jdk1..0_151/bin
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME JAVA_BIN PATH CLASSPATH
[root@yinzhengjie jdk1..0_151]#
[root@yinzhengjie jdk1..0_151]# source /etc/profile ------->重新读取该配置文件
[root@yinzhengjie jdk1..0_151]# java -version -------->再一次的检查当前JAVA版本
java version "1.8.0_151" ------->当前版本为1.8版本,表示安装成功。
Java(TM) SE Runtime Environment (build 1.8.0_151-b12)
Java HotSpot(TM) -Bit Server VM (build 25.151-b12, mixed mode)
[root@yinzhengjie jdk1..0_151]#

b>.源码安装并运行Elasticsearch
[root@yinzhengjie ~]# mkdir -pv /yinzhengjie/application/elasticsearch && cd /yinzhengjie/application/elasticsearch
[root@yinzhengjie elasticsearch]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.6.3.tar.gz
[root@yinzhengjie elasticsearch]# rz
rz waiting to receive.
zmodem trl+C ȡ % KB KB/s :: Errorsr.gz... [root@yinzhengjie elasticsearch]# tar xf elasticsearch-5.6..tar.gz
[root@yinzhengjie elasticsearch]# useradd yinzhengjie
[root@yinzhengjie elasticsearch]# chown yinzhengjie:yinzhengjie elasticsearch-5.6. -R
[root@yinzhengjie elasticsearch]# cd elasticsearch-5.6./bin/
[root@yinzhengjie bin]# su yinzhengjie
[yinzhengjie@yinzhengjie bin]$ ./elasticsearch -d ------>用非root用户在后台运行
[root@yinzhengjie ~]# lsof -i: ------>查看服务是否正常启动
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
java yinzhengjie 137u IPv6 0t0 TCP localhost:wap-wsp (LISTEN)
java yinzhengjie 138u IPv6 0t0 TCP localhost:wap-wsp (LISTEN)
[root@yinzhengjie ~]#
[yinzhengjie@yinzhengjie bin]$ exit
exit
[root@yinzhengjie bin]#
[root@yinzhengjie bin]#
[root@yinzhengjie bin]# ps -ef | grep elasticsearch | grep -v grep
: pts/ :: /yinzhengjie/application/jdk/jdk1..0_151/bin/java -Xms2g -Xmx2g -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction= -XX:+UseCMSInitiatingOccupancyOnly -XX:+AlwaysPreTouch -server -Xss1m -Djava.awt.headless=true -Dfile.encoding=UTF- -Djna.nosys=true -Djdk.io.permissionsUseCanonicalPath=true -Dio.netty.noUnsafe=true -Dio.netty.noKeySetOptimization=true -Dio.netty.recycler.maxCapacityPerThread= -Dlog4j.shutdownHookEnabled=false -Dlog4j2.disable.jmx=true -Dlog4j.skipJansi=true -XX:+HeapDumpOnOutOfMemoryError -Des.path.home=/yinzhengjie/application/elasticsearch/elasticsearch-5.6. -cp /yinzhengjie/application/elasticsearch/elasticsearch-5.6./lib/* org.elasticsearch.bootstrap.Elasticsearch -d
[root@yinzhengjie bin]#
[root@yinzhengjie bin]# curl 127.0.0.1:9200 ------->用curl命令验证安装的es是否可用。
{
"name" : "uJy1--c",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "mQ8mfu3bQQGdo-jSECJQhQ",
"version" : {
"number" : "5.6.3",
"build_hash" : "1a2f265",
"build_date" : "2017-10-06T20:33:39.012Z",
"build_snapshot" : false,
"lucene_version" : "6.6.1"
},
"tagline" : "You Know, for Search"
}
[root@yinzhengjie bin]#
d>.rpm安装并运行Elasticsearch
[root@yinzhengjie ~]# mkdir -pv /yinzhengjie/application/elasticsearch && cd /yinzhengjie/application/elasticsearch
[root@yinzhengjie elasticsearch]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.6.3.rpm
[root@yinzhengjie elasticsearch]# rpm --install elasticsearch-5.6..rpm
[root@yinzhengjie elasticsearch]#
[root@yinzhengjie elasticsearch]# ln -s `which java` /sbin/java ----->需要手动做一个软连接
[root@yinzhengjie elasticsearch]# service elasticsearch start ----->做好连接之后可用启动服务
[root@yinzhengjie elasticsearch]#
[root@yinzhengjie elasticsearch]# lsof -i: ------->检查服务是否正常启动
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
java elasticsearch 135u IPv6 0t0 TCP localhost:wap-wsp (LISTEN)
java elasticsearch 137u IPv6 0t0 TCP localhost:wap-wsp (LISTEN)
[root@yinzhengjie elasticsearch]#
[root@yinzhengjie elasticsearch]# curl 127.0.0.1: ------->验证是否按照成功
{
"name" : "BAzujhz",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "7jz3RzqdTiS--VoQADAE5g",
"version" : {
"number" : "5.6.3",
"build_hash" : "1a2f265",
"build_date" : "2017-10-06T20:33:39.012Z",
"build_snapshot" : false,
"lucene_version" : "6.6.1"
},
"tagline" : "You Know, for Search"
}
[root@yinzhengjie elasticsearch]#
[root@yinzhengjie elasticsearch-5.6.]# ll
total
drwxr-xr-x. yinzhengjie yinzhengjie Oct : bin -------->运行elasticsearch实例和管理插件的一些脚本;
drwxr-xr-x. yinzhengjie yinzhengjie Oct : config --------->配置文件路径,包含elasticsearch.yml文件,注意RPM安装的存放位置应该是/etc/elasticsearch这个目录;
drwxrwxr-x. yinzhengjie yinzhengjie Oct : data --------->在每个索引/碎片的数据文件的位置,可以有多个目录;
drwxr-xr-x. yinzhengjie yinzhengjie Oct : lib ---------->elasticsearch使用的库;
-rw-r--r--. yinzhengjie yinzhengjie Oct : LICENSE.txt
drwxr-xr-x. yinzhengjie yinzhengjie Oct : logs ---------->存放日志的文件夹,注意如果是RPM方式安装的话应该在/var/log/elasticsearch这个目录里面,官网文档是有说明的。
drwxr-xr-x. yinzhengjie yinzhengjie Oct : modules
-rw-r--r--. yinzhengjie yinzhengjie Oct : NOTICE.txt
drwxr-xr-x. yinzhengjie yinzhengjie Oct : plugins --------->存放已经安装的插件的存放位置
-rw-r--r--. yinzhengjie yinzhengjie Oct : README.textile
[root@yinzhengjie elasticsearch-5.6.]#
Elasticsearch日志分析系统的更多相关文章
- ELK_日志分析系统Logstash+ElasticSearch+Kibana4
elk 日志分析系统 Logstash+ElasticSearch+Kibana4 logstash 管理日志和事件的工具 ElasticSearch 搜索 Kibana4 功能强大的数据显示客户端 ...
- Docker搭建ElasticSearch+Redis+Logstash+Filebeat日志分析系统
一.系统的基本架构 在以前的博客中有介绍过在物理机上搭建ELK日志分析系统,有兴趣的朋友可以看一看-------------->>链接戳我<<.这篇博客将介绍如何使用Docke ...
- elk 日志分析系统Logstash+ElasticSearch+Kibana4
elk 日志分析系统 Logstash+ElasticSearch+Kibana4 logstash 管理日志和事件的工具 ElasticSearch 搜索 Kibana4 功能强大的数据显示clie ...
- filebeat+redis+logstash+elasticsearch+kibana搭建日志分析系统
filebeat+redis+elk搭建日志分析系统 官网下载地址:https://www.elastic.co/downloads 1.下载安装filebeat wget https://artif ...
- [原创]ubuntu14.04部署ELK+redis日志分析系统
ubuntu14.04部署ELK+redis日志分析系统 [环境] host1:172.17.0.4 搭建ELK+redis服务 host2:172.17.0.3 搭建logstash+nginx服务 ...
- ELK + Filebeat 日志分析系统
ELK + Filebeat 日志分析系统 架构图 环境 OS:CentOS 7.4 Filebeat: 6.3.2 Logstash: 6.3.2 Elasticsearch 6.3.2 Kiban ...
- 苏宁基于Spark Streaming的实时日志分析系统实践 Spark Streaming 在数据平台日志解析功能的应用
https://mp.weixin.qq.com/s/KPTM02-ICt72_7ZdRZIHBA 苏宁基于Spark Streaming的实时日志分析系统实践 原创: AI+落地实践 AI前线 20 ...
- ELK日志分析系统简单部署
1.传统日志分析系统: 日志主要包括系统日志.应用程序日志和安全日志.系统运维和开发人员可以通过日志了解服务器软硬件信息.检查配置过程中的错误及错误发生的原因.经常分析日志可以了解服务器的负荷,性能安 ...
- Rsyslog+ELK日志分析系统
转自:https://www.cnblogs.com/itworks/p/7272740.html Rsyslog+ELK日志分析系统搭建总结1.0(测试环境) 因为工作需求,最近在搭建日志分析系统, ...
随机推荐
- mybatis中批量更新的问题
问题:使用mybatis在执批量更新操作时,一直报错执行失败 解决方法: 首先打印了SQL语句,发现SQL语句拿出来执行没问题,也可以批量执行.SQL没问题,应该是配置的问题. 在网上查询和很多资料, ...
- Junit测试用例
一.题目简介 返回一个给定整数参数的绝对值. 二.源码的github链接 https://github.com/liyan941016/test/blob/master/FileTest.java h ...
- Daily Scrum 12.8
Member Task on 12.08 Task on 12.09 仇栋民 参与M2阶段第二次决策会议 开始Task964 : 活动评论功能雏形 康家华 开始Task982 : 完成活动界面的设计稿 ...
- pandas(DataFrame)
DataFrame是二维数据结构,即数据以行和列的表格方式排列!特点:潜在的列是不同的类型,大小可变,标记行和列,可以对列和行执行算数运算. 其中Name,Age即为对应的Columns,序号0,1, ...
- PHP利用GD库处理图片方法实现
这里写的是完成每个功能的函数,可以复制单个函数直接使用,这里的每个函数都是另外一篇PHP常用类------图片处理类Image当中的方法进行细化,可以参考一下 废话不多说,直接付代码吧! 添加水印(文 ...
- Running kubernetes on windows
docker-for-desktop minikube GKE cluster(?) docker-for-desktop https://docs.docker.com/docker-for-win ...
- Delphi编码规范
以下是在之前的公司与别人共同参与制定的Delphi开发规范(5年前了,那时用的还是Delphi7,部分规则可能有些过时,但不整理了,觉得有用的人,自己整理成适合自己的开发规范吧), 目 录一.序 ...
- BZOJ2223[Coci 2009]PATULJCI——主席树
题目描述 输入 先输入一个数n,然后一个数表示这n个数中最大的是多少,接下来一行n个数.然后一个数m,最后m行询问每次两个数l,r. 输出 no或者yes+这个数 样例输入 10 3 1 2 1 2 ...
- BZOJ5093 图的价值(NTT+斯特林数)
显然每个点会提供相同的贡献.于是现在只考虑1号点的贡献.若其度数为i,则在2~n号点选i个连上,剩下的边随便连,这样可以算出答案为 这个式子可以O(n)计算.发现k比较小,于是考虑如何将这个式子化为与 ...
- ubuntu 18.04 使用 nvm 安装 nodejs
20190315 使用 nvm 安装 nodejs 1. 找到 nvm 官网帮助 https://github.com/creationix/nvm 我习惯于 terminal 操作,所以选择 git ...