背景知识见链接:elasticsearch备份与恢复3_使用ES-Hadoop将HDFS数据写入Elasticsearch中 项目参考<Elasticsearch集成Hadoop最佳实践>的tweets2HdfsMapper项目 项目源码:https://gitee.com/constfafa/ESToHDFS.git 开发过程: 1. 先在kibana中查看下索引的信息   "hits": [   {   "_index": "xxx-wor

备份和还原,为什么elasticsearch还需要备份呢,明明可以设置副本做到高可用,那怕啥呢? 其实在实际的生产环境中,一般最终的结果数据都是要备份的,这样的做的目的,就是能够以最快的速度还原数据,找回数据.明明mysql可以有主从,es有副本,备份干啥呢?不就是为了万无一失吗,生产环境有时候压力会很大,像mysql频繁的插入和删除数据也会导致binlog日志同步延迟,有时候就不一定能够做到同步,还有就是误操作删除了一些有用的数据呢,对吧,这个叫做有备无患.es也同样,万一一波操作猛如虎,一把

ElasticSearch+Kibana 索引操作 一 前言 ElasticiSearch 简介 ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口.Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎.设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便. 因为在工作的项目中有使用到所以写下相关的内容,并附带源码 感兴趣的朋友可以自

目录 1 索引模板概述 1.1 什么是索引模板 1.2 索引模板中的内容 1.3 索引模板的用途 2 创建索引模板 3 查看索引模板 4 删除索引模板 5 模板的使用建议 5.1 一个index中不能有多个type 5.2 设置_source = false 5.3 设置_all = false 5.4 设置dynamic = strict 5.5 使用keyword类型 1 索引模板概述 1.1 什么是索引模板 索引模板: 就是把已经创建好的某个索引的参数设置(settings)和索引映射(m

参考文档:https://es.xiaoleilu.com/010_Intro/00_README.html 一.索引操作 1.查看当前节点的所有的index 查看当前节点的所有的index [root@es1 ~]# curl -X GET 'http://10.87.6.2:9200/_cat/indices?v' health status index uuid pri rep docs.count docs.deleted store.size pri.store.size green

近发现elasticsearch近期索引文件大的吓人,清理了下之前的索引文件,发现服务器性能大大的减轻了一半,想一直保留近一个月的索引文件,但是又不想每个月手动清楚,在此写了一个小脚本 查询索引: curl -XGET 'http://127.0.0.1:9200/_cat/indices/?v' 一. 手动删除 rm -rf *--* 二.api删除 curl -XDELETE 'http://127.0.0.1:9200/logstash-2016-07-*' 清理掉了所有 3月份的索引文件

0x00 ElasticSearch的索引和MySQL的索引方式对比 Elasticsearch是通过Lucene的倒排索引技术实现比关系型数据库更快的过滤.特别是它对多条件的过滤支持非常好,比如年龄在18和30之间,性别为女性这样的组合查询. 倒排索引很多地方都有介绍,但是其比关系型数据库的b-tree索引快在哪里?到底为什么快呢? 笼统的来说,b-tree索引是为写入优化的索引结构.当我们不需要支持快速的更新的时候,可以用预先排序等方式换取更小的存储空间,更快的检索速度等好处,其代价就是更新

如果elasticsearch删除索引报错 curl -X DELETE 'http://10.73.26.66:9200/httpd-34-2017.08.15' {"error":{"root_cause":[{"type":"illegal_argument_exception","reason":"text is empty"}],"type":"i

全文检索的应用越来越广泛,几乎成了互联网应用的标配,商品搜索.日志分析.历史数据归档等等,各种场景都会涉及到大批量的数据,在全文检索方面,方案无外乎Lucene.Solr.Elasticsearch三种应用的较为广泛.es.solr的底层都依托于Lucene,但es比solr学习成本更低,由于其提供的RESTful API简单快捷,对互联网应用开发而言更是如虎添翼. 下面结合以实际案例,通过Java API的形式操作es数据集. 框架选型基础是Spring Boot + Spring-data-

在使用Eleasticsearch进行索引维护的过程中,如果你的应用场景需要频繁的大批量的索引写入,再使用上篇中提到的维护方法的话显然效率是低下的,此时推荐使用bulkIndex来提升效率.批写入数据块的大小取决于你的数据集及集群的配置. 下面我们以Spring Boot结合Elasticsearch创建一个示例项目,从基本的pom配置开始 <dependency>    <groupId>com.google.code.gson</groupId>    <ar

Elasticsearch备份数据 1.建立备份目录 POST _snapshot/my_backup/ { "type": "fs", "settings": { "location": "/mount/backups/my_backup", "max_snapshot_bytes_per_sec" : "50mb", "max_restore_bytes

一.简介 在ElasticSearch里没有专门的数组类型,任何一个字段都可以有零个和多个值.当字段值的个数大于1时,字段类型就变成了数组. 下面以视频数据为例,介绍ElasticSearch如何索引数组数据,以及如何检索数组中的字段值. 测试视频数据格式如下: { "media_id": 88992211, "tags": ["电影","科技","恐怖","电竞"] } media_i

ElasticSearch索引重建 ElasticSearch索引一旦建立,便不可修改索引字段类型(允许增加或者删除该字段) 例如从Integer类型修改为long类型,这是不被允许的,错误信息如下: 1 { 2 "error" : { 3 "root_cause" : [ 4 { 5 "type" : "illegal_argument_exception", 6 "reason" : "map

如果ES是集群,那么需要使用共享存储,支持的存储有:a.shared file systemb.S3c.HDFS 我使用的是第一种,NFS共享文件系统.这里要说一下权限问题,ES一般是使用 elasticsearch 用户启动的,要保证共享目录对 elasticsearch 用户有读写权限,要不然创建仓库和快照的时候会报访问拒绝500错误. 在nfs-server上导出共享目录的权限配置,这里将所有连接用户都压缩为root权限: # vim /etc/exports /data02/es 192

数据备份是一个必须要考虑的问题,官网提供了 snapshot 接口来备份和恢复数据. 先来看看官方说明: 如果ES是集群,那么需要使用共享存储,支持的存储有: a.shared file system b.S3 c.HDFS 我使用的是第一种,NFS共享文件系统.这里要说一下权限问题,ES一般是使用 elasticsearch 用户启动的,要保证共享目录对 elasticsearch 用户有读写权限,要不然创建仓库和快照的时候会报访问拒绝500错误. 在nfs-server上导出共享目录的权限配

1.通过elasticsearch-head 创建 (1)登录localhost:9100 (2)点击复合查询 (3)输入内容 (4)勾选易读,点击验证是否是JSON格式 (5)点击提交请求,返回 { "acknowledged": true } 2.通过postman来创建索引: (1)选择请求格式PUT,输入请求访问地址:127.0.0.1:9200/peoper (2)选择下面的Body->raw->JSON(application/json) (3)创建索引,例如:

curl   : http://keenwon.com/1393.html During snapshot initialization, information about all previous snapshots is loaded into the memory, which means that in large repositories it may take several seconds (or even minutes) for this command to return

简介 curator 是一个官方的,可以管理elasticsearch索引的工具,可以实现创建,删除,段合并等等操作.详见官方文档 功能 curator允许对索引和快照执行许多不同的操作,包括: 从别名添加或删除索引(或两者!) 更改分片路由分配 关闭索引 创建索引 删除索引 删除快照 打开被关闭的索引 对索引执行forcemerge段合并操作 reindex索引,包括来自远程集群的索引 更改索引的每个分片的副本数 rollover索引 生成索引的快照(备份) 还原快照 版本 安装 有多种安装方

目录 操作索引 1. 基本概念 2. 创建索引 2.1 语法 2.2查看索引设置 2.3.删除索引 2.4 映射配置 2.5 新增数据 2.6 修改数据 2.7 删除数据 3. 查询 3.1 基本查询 3.2.结果过滤 3.3 高级查询 3.4 过滤(filter) 3.5 排序 4. 聚合aggregations 4.1 基本概念 4.2 聚合为桶 4.3 桶内度量 4.4 桶内嵌套桶 4.5 划分桶的其它方式 操作索引 1. 基本概念 Elasticsearch也是基于Lucene的全文检索

一.基本概念 索引:含有相同属性的文档的集合. //可以想象成一个数据库 database 类型:索引可以定义一个或多个类型,文档必须属于一个类型. //可以想象成数据库中的表 table 文档:文档是可以被索引的基本数据单位. //可以想象成数据库表中的一条数据 分片:每一个索引有多个分片,每个分片都是一个Lucene索引 备份:拷贝一份备份就完成了分片的备份 每创建一个所以默认会创建5个分片和一个备份,当主分片出问题时,备份可以代替工作:备份的分片还可以执行搜索操作 二.创建索引 索引分结构

1. 编写索引内容 节点解释: settings:配置信息 "number_of_replicas": 0  不需要备份(单节点的ElasticSearch使用) "mappings":  映射内容 "dynamic":false  是否动态索引,这里使用的是false,表示索引的固定的,不需要修改. "properties": 属性结构内容 "index":"true"  需要分词处理