背景 前几个月,使用Vertx重构了公司的一个子系统,该系统负责公司核心数据subscriber的采集.处理.存储和搜索.这里介绍下重构该系统时的一些关键点. 架构 重构前系统部署图: 重构前系统主要有2部分组成,这2部分都会对Subscriber数据操作: Java APP: 是个定时任务触发的APP,每2小时跑一次,每次启动后做以下的事情: 从MongoDB里加载已有的数据到内存. 读取准备好的Data文件,处理文件中的数据,和已加载的数据做合并,这个处理的过程会导致Subscriber数据

实验环境: 操作系统:Centos 7.5 服务器ip:192.168.1.198 运行用户:root 网络环境:Internet 在企业生产环境有很多服务器的时候.很多业务模块的日志的时候运维人员需要每时每刻查看日志,这样的工作量是非常庞大的,这样就没有时间做其它的工作, Elasticsearch是个开源分布式搜索引擎,它的特点有:开源.灵活性.分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等,配置简单,一般都是结合Logstash.ki

目录 1.添加elasticsearch官网的yum源 2.Elasticsearch 安装elasticsearch 配置elasticsearch 启动elasticsearch并设为开机启动 3.Kibana 安装kibana 配置kibana 启动kibana并设为开机启动 4.Filebeat 安装filebeat 配置filebeat 启动filebeat并设为开机启动 5.操作Kibana界面,显示收集的日志   1.添加elasticsearch官网的yum源 cd /etc/y

近几篇ElasticSearch系列: 1.阿里云服务器Linux系统安装配置ElasticSearch搜索引擎 2.Linux系统中ElasticSearch搜索引擎安装配置Head插件 3.ElasticSearch搜索引擎安装配置中文分词器IK插件 4.ElasticSearch搜索引擎安装配置拼音插件pinyin 5.ElasticSearch搜索引擎在JavaWeb项目中的应用 ElasticSearch是一个基于Apache Lucene(TM)的开源搜索引擎.无论在开源还是专有领域

1.本地安装elasticsearch服务,具体过程见上一篇文章(安装和配置elasticsearch服务集群) 2.修改项目中pom文件,引入搜索相关jar包 <!-- elasticsearch相关jar包开始 --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-elasticsearch</a

Elasticsearch 的安装非常简单,笔者在前文<单机部署 ELK>中已经介绍过了,本文主要介绍集群的配置,并解释常见配置参数的含义. 要配置集群,最简单的情况下,设置下面几个参数就可以了: cluster.name: es-cluster node.name: es-node- discovery.zen.ping.unicast.hosts: ["192.168.1.101","192.168.1.102"] discovery.zen.min

一.什么是ElasticSearch? 一.什么是ES? ES是一个分布式使用RestFul风格的数据搜索引擎,并且ES是构建在Lucene框架之上,也就是说ES也是基于Lucene进行开发的搜索引擎框架 /* ES三大核心: Index 相当于关系型数据库中的库 Type 相当于关系型数据库中的表 Document 相当于关系型数据库中的表数据 */ !!!6.ES是基于Lucene开发的,但是Lucene和ES都是搜索引擎框架 什么时候使用ES 什么时候使用Lucene // Lucene和

安装jdk sudo apt-get install python-software-properties sudo add-apt-repository ppa:webupd8team/java sudo apt-get update sudo apt-get install oracle-java8-installer sudo update-alternatives --config java 安装elasticSearch mkdir /usr/local/elasticsearch/

环境:centos6.7 #查询已经安装的JDK rpm -qa | grep jdk #卸载 yum -y remove  java-1.8.0-openjdk-headless-1.8.0.91-0.b14.el6_7.x86_64 #配置环境变量 vi /etc/profile JAVA_HOME=/opt/jdk1..0_92 CLASSPATH=.:$JAVA_HOME/lib PATH=$JAVA_HOME/bin:$PATH export JAVA_HOME CLASSPATH P

https://github.com/medcl/elasticsearch-analysis-ikhttps://www.elastic.co/downloads/past-releases/elasticsearch-2-3-2es:2.3.2ik:1.9.2一安装es:wget 'https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.3.2/e

目录 1 映射的相关概念 1.1 什么是映射 1.2 映射的组成 1.3 元字段 1.4 字段的类型 2 如何配置mapping 2.1 创建mapping 2.2 更新mapping 2.3 查看mapping 1 映射的相关概念 1.1 什么是映射 (1) 映射(mapping): 定义index的元数据, 指定要索引并存储的文档的字段类型. 也就是说映射决定了Elasticsearch在建立倒排索引.进行检索时对文档采取的相关策略, 如数字类型.日期类型.文本类型等等. 需要注意的是: 检

Elasticsearch(以下简称ES),是一款开源的全文搜索引擎,获得了广泛的应用.这篇博客将介绍在centos6.7上如何配置ES. 一.安装JAVA环境 centos默认安装了JAVA环境,首先使用命令 java -version 检查系统的JAVA版本,如果低于JAVA8则需要重新安装,以下为笔者所安装的系统输出的版本信息.(若已经是JAVA8,则可以跳过这部分,直接配置ES) java version "1.7.0_65" OpenJDK Runtime Environme

1)下载 Elasticsearch 6.3.1 地址:https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.1.tar.gz 2)拷贝 拷贝到服务器上,解压:tar -xvzf elasticsearch-6.3.1.tar.gz .解压后路径:/home/elasticsearch-6.3.1 3)创建用户 创建用户,创建esdata目录,并赋予权限 [root@bogon home]# adduser

配置JAVA环境 配置jdk 上官网下载x64的和ubuntu匹配的jdk 找到usr/java ,解压下载的文件  tar –xzvf  文件.tar.gz Vim /etc/source  添加配置 保存后 source  /etc/profile 是配置生效 完成后敲java –version 由于命令行关闭就不好使,除非每次都 /source/profile 也可以使用一下方法 Cd ~ Vi .bashrc 写配置 Source ./.bashrc Java –version Root

一.安装elasticsearch 获取elasticsearch的rpm:wget https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/rpm/elasticsearch/2.4.1/elasticsearch-2.4.1.rpm 具体版本在es官网获取:https://www.elastic.co/downloads/past-releases 二.yum安装 yum -y inst

前提声明 在新版本的spring boot中逐渐放弃了对Spring Data Elasticsearch的支持,所以不推荐使用,使用ES官方推出的Java High Rest Client. 引入依赖 <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>elasticsearch-rest-high-level-client</artifactId> <

一.关于docker的安装,注意几点 1.如果系统是Win10家庭版,是没有Hyper-V的,所以无法安装docker(运行docker安装包会报错),为此docker官网提供的解决方法是安装docker toolbox(一种结合docker,git,virtualBox的管理工具),而docker toolbox安装之后下面的导航栏是没有docker图标的. 2.第二种解决方法就是创建一个Hyper-V骗过扫描,网上很多方法可以去查看. 二.docker安装成功之后打开toolbox(我是安装

ELK介绍 ELK是三个开源软件的缩写,即elasticsearch.logstack.kibana. Elasticsearch:开源分布式搜索引擎,提供搜集.分析.存储数据三大功能.它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等.(搜索引擎) Logstash:主要是用来日志的搜集.分析.过滤日志的工具,支持大量的数据获取方式.一般工作方式为c/s架构,client端安装在需要收集日志的主机上,server端负责将收到的各节

在/etc/init.d目录下新建文件elasticsearch #!/bin/sh #chkconfig: 2345 80 05 #description: es #export JAVA_HOME=/usr/local/java/jdk1.8.0_171 #export JAVA_BIN=$JAVA_HOME/bin #export PATH=$PATH:$JAVA_HOME/bin #export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/l

进入Elasticsearch官网,点击Download,Elasticsearch默认端口9200 然后进入下图:有各种版本,我选择windows版本 下载之后,解压得到Elasticsearch文件夹 一.如何启动 进入cmd命令行界面,进入到Elasticsearch文件夹bin目录下,如果要启动单节点,使用下面的命令: elasticsearch -E node.name=[节点名] -E cluster.name=[集群名] -E path.data=[数据路径] 安装插件使用下面命令

目录 返回目录:http://www.cnblogs.com/hanyinglong/p/5464604.html 1.Elasticsearch配置文件详解 a. 在上面博客中,我们已经安装并且成功配置了Elasticsearch以及部分插件,接下来我们就需要看看Elasticseach的配置文件的信息以及文档的一些说明. b.首先找到Elasticsearch的安装位置,跳转到elasticsearch的config文件夹下,在此文件夹下含有两个配置文件:elasticsearch.yml和