Elasticsearch日志分析系统
Elasticsearch日志分析系统
作者:尹正杰
版权声明:原创作品,谢绝转载!否则将追究法律责任。
Node(节点):
单个的装有Elasticsearch服务并且提供故障转移和扩展的服务器。
Cluster(集群):
一个集群就是由一个或多个node组织在一起,共同工作,共同分享整个数据具有负载均衡功能的集群。
Document(文档):
一个文档是可以被索引的基础信息单元。
Index(索引):
索引就是一个拥有几分相似特征的文档的集合。
Type(类型):
一个索引中,你可以定义一种或多种类型。
Field(列):
Field是Elasticsearchd的最小单位,相当于数据的某一列。
Shards(分片):
Elasticsearch将索引分成若干份,每个部门就是一个shard。
Replicas(复制):
Replicas是索引一份或多份拷贝。
三.Elasticsearch对应数据库的关系



[root@yinzhengjie ~]# cat /etc/redhat-release
CentOS release 6.6 (Final)
[root@yinzhengjie ~]#
[root@yinzhengjie ~]# uname -r
2.6.-.el6.x86_64
[root@yinzhengjie ~]#
[root@yinzhengjie ~]# uname -m
x86_64
[root@yinzhengjie ~]#

b>.卸载旧版本的JAVA
[root@yinzhengjie jdk]# java -version ----->检查当前版本
java version "1.7.0_65" ------>当前版本是1.
OpenJDK Runtime Environment (rhel-2.5.1.2.el6_5-x86_64 u65-b17)
OpenJDK -Bit Server VM (build 24.65-b04, mixed mode)
[root@yinzhengjie jdk]#
[root@yinzhengjie jdk]# yum -y groupremove java* ------>卸载相关Java组件
[root@yinzhengjie jdk]# java -version ------>再次查看当前Java版本
java version "1.5.0" ------->当前版本是1.
gij (GNU libgcj) version 4.4. (Red Hat 4.4.-) Copyright (C) Free Software Foundation, Inc.
This is free software; see the source for copying conditions. There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.
[root@yinzhengjie jdk]#
[root@yinzhengjie jdk]# yum -y remove java*
[root@yinzhengjie jdk]# java -version ------->再次查看Java版本应该报错说明卸载成功。
-bash: /usr/bin/java: 没有那个文件或目录
[root@yinzhengjie jdk]#
c>.安装Java
[root@yinzhengjie ~]# mkdir -pv /yinzhengjie/application/jdk && cd /yinzhengjie/application/jdk
[root@yinzhengjie jdk]# yum -y install lrzsz
[root@yinzhengjie jdk]# rz ------>上传我们已经下载的文件
rz waiting to receive.
zmodem trl+C ȡ % KB KB/s :: Errorsr.gz... [root@yinzhengjie jdk]# ll
总用量
-rw-r--r--+ root root 10月 : jdk-8u151-linux-x64.tar.gz
[root@yinzhengjie jdk]#
[root@yinzhengjie jdk]# tar xf jdk-8u151-linux-x64.tar.gz
[root@yinzhengjie jdk1..0_151]# tail - /etc/profile
#ADD BY YINZHENGJIE
export JAVA_HOME=/yinzhengjie/application/jdk/jdk1..0_151
export JAVA_BIN=/yinzhengjie/application/jdk/jdk1..0_151/bin
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME JAVA_BIN PATH CLASSPATH
[root@yinzhengjie jdk1..0_151]#
[root@yinzhengjie jdk1..0_151]# source /etc/profile ------->重新读取该配置文件
[root@yinzhengjie jdk1..0_151]# java -version -------->再一次的检查当前JAVA版本
java version "1.8.0_151" ------->当前版本为1.8版本,表示安装成功。
Java(TM) SE Runtime Environment (build 1.8.0_151-b12)
Java HotSpot(TM) -Bit Server VM (build 25.151-b12, mixed mode)
[root@yinzhengjie jdk1..0_151]#

b>.源码安装并运行Elasticsearch
[root@yinzhengjie ~]# mkdir -pv /yinzhengjie/application/elasticsearch && cd /yinzhengjie/application/elasticsearch
[root@yinzhengjie elasticsearch]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.6.3.tar.gz
[root@yinzhengjie elasticsearch]# rz
rz waiting to receive.
zmodem trl+C ȡ % KB KB/s :: Errorsr.gz... [root@yinzhengjie elasticsearch]# tar xf elasticsearch-5.6..tar.gz
[root@yinzhengjie elasticsearch]# useradd yinzhengjie
[root@yinzhengjie elasticsearch]# chown yinzhengjie:yinzhengjie elasticsearch-5.6. -R
[root@yinzhengjie elasticsearch]# cd elasticsearch-5.6./bin/
[root@yinzhengjie bin]# su yinzhengjie
[yinzhengjie@yinzhengjie bin]$ ./elasticsearch -d ------>用非root用户在后台运行
[root@yinzhengjie ~]# lsof -i: ------>查看服务是否正常启动
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
java yinzhengjie 137u IPv6 0t0 TCP localhost:wap-wsp (LISTEN)
java yinzhengjie 138u IPv6 0t0 TCP localhost:wap-wsp (LISTEN)
[root@yinzhengjie ~]#
[yinzhengjie@yinzhengjie bin]$ exit
exit
[root@yinzhengjie bin]#
[root@yinzhengjie bin]#
[root@yinzhengjie bin]# ps -ef | grep elasticsearch | grep -v grep
: pts/ :: /yinzhengjie/application/jdk/jdk1..0_151/bin/java -Xms2g -Xmx2g -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction= -XX:+UseCMSInitiatingOccupancyOnly -XX:+AlwaysPreTouch -server -Xss1m -Djava.awt.headless=true -Dfile.encoding=UTF- -Djna.nosys=true -Djdk.io.permissionsUseCanonicalPath=true -Dio.netty.noUnsafe=true -Dio.netty.noKeySetOptimization=true -Dio.netty.recycler.maxCapacityPerThread= -Dlog4j.shutdownHookEnabled=false -Dlog4j2.disable.jmx=true -Dlog4j.skipJansi=true -XX:+HeapDumpOnOutOfMemoryError -Des.path.home=/yinzhengjie/application/elasticsearch/elasticsearch-5.6. -cp /yinzhengjie/application/elasticsearch/elasticsearch-5.6./lib/* org.elasticsearch.bootstrap.Elasticsearch -d
[root@yinzhengjie bin]#
[root@yinzhengjie bin]# curl 127.0.0.1:9200 ------->用curl命令验证安装的es是否可用。
{
"name" : "uJy1--c",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "mQ8mfu3bQQGdo-jSECJQhQ",
"version" : {
"number" : "5.6.3",
"build_hash" : "1a2f265",
"build_date" : "2017-10-06T20:33:39.012Z",
"build_snapshot" : false,
"lucene_version" : "6.6.1"
},
"tagline" : "You Know, for Search"
}
[root@yinzhengjie bin]#
d>.rpm安装并运行Elasticsearch
[root@yinzhengjie ~]# mkdir -pv /yinzhengjie/application/elasticsearch && cd /yinzhengjie/application/elasticsearch
[root@yinzhengjie elasticsearch]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.6.3.rpm
[root@yinzhengjie elasticsearch]# rpm --install elasticsearch-5.6..rpm
[root@yinzhengjie elasticsearch]#
[root@yinzhengjie elasticsearch]# ln -s `which java` /sbin/java ----->需要手动做一个软连接
[root@yinzhengjie elasticsearch]# service elasticsearch start ----->做好连接之后可用启动服务
[root@yinzhengjie elasticsearch]#
[root@yinzhengjie elasticsearch]# lsof -i: ------->检查服务是否正常启动
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
java elasticsearch 135u IPv6 0t0 TCP localhost:wap-wsp (LISTEN)
java elasticsearch 137u IPv6 0t0 TCP localhost:wap-wsp (LISTEN)
[root@yinzhengjie elasticsearch]#
[root@yinzhengjie elasticsearch]# curl 127.0.0.1: ------->验证是否按照成功
{
"name" : "BAzujhz",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "7jz3RzqdTiS--VoQADAE5g",
"version" : {
"number" : "5.6.3",
"build_hash" : "1a2f265",
"build_date" : "2017-10-06T20:33:39.012Z",
"build_snapshot" : false,
"lucene_version" : "6.6.1"
},
"tagline" : "You Know, for Search"
}
[root@yinzhengjie elasticsearch]#
[root@yinzhengjie elasticsearch-5.6.]# ll
total
drwxr-xr-x. yinzhengjie yinzhengjie Oct : bin -------->运行elasticsearch实例和管理插件的一些脚本;
drwxr-xr-x. yinzhengjie yinzhengjie Oct : config --------->配置文件路径,包含elasticsearch.yml文件,注意RPM安装的存放位置应该是/etc/elasticsearch这个目录;
drwxrwxr-x. yinzhengjie yinzhengjie Oct : data --------->在每个索引/碎片的数据文件的位置,可以有多个目录;
drwxr-xr-x. yinzhengjie yinzhengjie Oct : lib ---------->elasticsearch使用的库;
-rw-r--r--. yinzhengjie yinzhengjie Oct : LICENSE.txt
drwxr-xr-x. yinzhengjie yinzhengjie Oct : logs ---------->存放日志的文件夹,注意如果是RPM方式安装的话应该在/var/log/elasticsearch这个目录里面,官网文档是有说明的。
drwxr-xr-x. yinzhengjie yinzhengjie Oct : modules
-rw-r--r--. yinzhengjie yinzhengjie Oct : NOTICE.txt
drwxr-xr-x. yinzhengjie yinzhengjie Oct : plugins --------->存放已经安装的插件的存放位置
-rw-r--r--. yinzhengjie yinzhengjie Oct : README.textile
[root@yinzhengjie elasticsearch-5.6.]#
Elasticsearch日志分析系统的更多相关文章
- ELK_日志分析系统Logstash+ElasticSearch+Kibana4
elk 日志分析系统 Logstash+ElasticSearch+Kibana4 logstash 管理日志和事件的工具 ElasticSearch 搜索 Kibana4 功能强大的数据显示客户端 ...
- Docker搭建ElasticSearch+Redis+Logstash+Filebeat日志分析系统
一.系统的基本架构 在以前的博客中有介绍过在物理机上搭建ELK日志分析系统,有兴趣的朋友可以看一看-------------->>链接戳我<<.这篇博客将介绍如何使用Docke ...
- elk 日志分析系统Logstash+ElasticSearch+Kibana4
elk 日志分析系统 Logstash+ElasticSearch+Kibana4 logstash 管理日志和事件的工具 ElasticSearch 搜索 Kibana4 功能强大的数据显示clie ...
- filebeat+redis+logstash+elasticsearch+kibana搭建日志分析系统
filebeat+redis+elk搭建日志分析系统 官网下载地址:https://www.elastic.co/downloads 1.下载安装filebeat wget https://artif ...
- [原创]ubuntu14.04部署ELK+redis日志分析系统
ubuntu14.04部署ELK+redis日志分析系统 [环境] host1:172.17.0.4 搭建ELK+redis服务 host2:172.17.0.3 搭建logstash+nginx服务 ...
- ELK + Filebeat 日志分析系统
ELK + Filebeat 日志分析系统 架构图 环境 OS:CentOS 7.4 Filebeat: 6.3.2 Logstash: 6.3.2 Elasticsearch 6.3.2 Kiban ...
- 苏宁基于Spark Streaming的实时日志分析系统实践 Spark Streaming 在数据平台日志解析功能的应用
https://mp.weixin.qq.com/s/KPTM02-ICt72_7ZdRZIHBA 苏宁基于Spark Streaming的实时日志分析系统实践 原创: AI+落地实践 AI前线 20 ...
- ELK日志分析系统简单部署
1.传统日志分析系统: 日志主要包括系统日志.应用程序日志和安全日志.系统运维和开发人员可以通过日志了解服务器软硬件信息.检查配置过程中的错误及错误发生的原因.经常分析日志可以了解服务器的负荷,性能安 ...
- Rsyslog+ELK日志分析系统
转自:https://www.cnblogs.com/itworks/p/7272740.html Rsyslog+ELK日志分析系统搭建总结1.0(测试环境) 因为工作需求,最近在搭建日志分析系统, ...
随机推荐
- 使用docker安装paddlepaddle 和 tensorflow
1.tensorflow安装 http://blog.csdn.net/freewebsys/article/details/70237003 (1)拉取镜像:docker pull tensorfl ...
- (Alpha)Let's-版本测试报告
测试中发现的Bug 我们在测试之前发布了新的版本Version1.1,发布新版本的同时也带来一些问题: 修复了上传图片画质问题的Bug 修复了搜索功能的部分Bug 增加了下拉刷新的功能 修复了部分界面 ...
- 关于EA和ED的区别
在申请美国大学本科的过程中,申请的截止时间往往分为两轮:提前申请(Early Decision/Action) 和常规申请 (Regular Decision).提前申请,顾名思义,截止时间会相对早一 ...
- Eclipse:An internal error occurred during: "Building workspace". GC overhead limit exceeded
http://blog.csdn.net/shaozhang872196/article/details/18552273 http://www.cnblogs.com/sonofelice/p/52 ...
- MySQL乐观锁在分布式场景下的实践
背景 在电商购物的场景下,当我们点击购物时,后端服务就会对相应的商品进行减库存操作.在单实例部署的情况,我们可以简单地使用JVM提供的锁机制对减库存操作进行加锁,防止多个用户同时点击购买后导致的库存不 ...
- RAID 磁盘阵列说明
Copy From wiki RAID档次 最少硬盘 最大容错 可用容量 读取性能 写入性能 安全性 目的 应用产业 单一硬盘 (引用) 0 1 1 1 无 JBOD 1 0 n 1 1 无( ...
- HashMap的实现原理--链表散列
1. HashMap概述 HashMap是基于哈希表的Map接口的非同步实现.此实现提供所有可选的映射操作,并允许使用null值和null键.此类不保证映射的顺序,特别是它不保证该顺序恒久不变. ...
- Java之byte、char和String类型相互转换
package basictype; /** * byte.char和String类型相互转换 */ public class CHJavaType { public static void main ...
- mysql 启动和关闭外键约束
在MySQL中删除一张表或一条数据的时候,出现 [Err] 1451 -Cannot delete or update a parent row: a foreign key constraint f ...
- BZOJ3569 DZY Loves Chinese II(随机化+树上差分+线性基)
上一题的强制在线版.对图跑出一个dfs树,给非树边赋上随机权值,树边的权值为覆盖他的非树边权值的异或.这样如果某条树边和覆盖他的非树边都被割掉(即图不连通),他们的异或值就为0.每次对询问看有没有子集 ...