postman 1.查看es状态 get http://127.0.0.1:9200/_cat/health 红色表示数据不可用,黄色表示数据可用,部分副本没有分配,绿色表示一切正常 2.查看所有索引 get http://127.0.0.1:9200/_cat/indices?v'get 3.删除某个索引 delete  http://127.0.0.1:9200/(索引名) delete  http://127.0.0.1:9200/cybereye_alarmlog_20170110  …

核心接口 trait SparkOnEsService { val conf = new SparkConf // conf.setMaster("local[10]") val file = new File("lib").getCanonicalFile.listFiles() val fs = file.toSeq.map(f => { f.getAbsolutePath }) conf.setJars(fs) conf.setAppName("…

一.elasticsearch index 索引流程 步骤: 客户端向Node1 发送索引文档请求 Node1 根据文档ID(_id字段)计算出该文档应该属于shard0,然后请求路由到Node3的P0分片上. Node3在P0上执行了请求.如果请求成功,则将请求并行的路由至Node1,Node2的R0上.当所有的Replicas报告成功后,Node3向请求的Node(Node1)发送成功报告,Node1再报告至Client. 当客户端收到执行成功后,操作已经在Primary shard和所有的…

索引的创建及删除 1. 通过索引一篇文档创建了一个新的索引 .这个索引采用的是默认的配置,新的字段通过动态映射的方式被添加到类型映射. 利用Kibana提供的DevTools来执行命令,要创建一个索引 put /sdb  (其中sdb为一个索引) 创建成功后会返回如下结果 { "acknowledged" : true, "shards_acknowledged" : true, "index" : "sdb"} 如果你想禁止…

背景 项目中已提供海量日志数据的多维实时查询,客户提出新需求:将数据导出. 将数据导出分两步: 查询大量数据 将数据生成文件并下载 本文主要探讨第一步,在es中查询大量数据或者说查询大数据集. es支持的查询数量 es默认支持的查询数量或者说查询深度是10,000. 可以动态修改max_result_window这个参数的设置,默认为10,000. PUT xz-logs/_settings?preserve_existing=true { "index.max_result_window&qu…

一:查询及删除重复记录的SQL语句1.查找表中多余的重复记录,重复记录是根据单个字段(peopleId)来判断select * from peoplewhere peopleId in (select   peopleId from   people group by   peopleId having count(peopleId) > 1)2.删除表中多余的重复记录,重复记录是根据单个字段(peopleId)来判断,只留有rowid最小的记录delete from peoplewhere p…

查询及删除重复记录的SQL语句 1.查找表中多余的重复记录,重复记录是根据单个字段(peopleId)来判断select * from peoplewhere peopleId in (select   peopleId from   people group by   peopleId having count(peopleId) > 1) 2.删除表中多余的重复记录,重复记录是根据单个字段(peopleId)来判断,只留有rowid最小的记录delete from people where…

由于性能原因,我们打算将关系型数据库转移到内存数据库中:在内存数据库产品的选型中,我们确定的候选对象有Redis和Berkeley DB: Redis查询效率不错,并且支持丰富的数据存储结构,但不支持多索引,这样对于比较复杂的sql移植可能会造成数据膨胀:Berkeley DB只支持简单的Key/Value, 但支持多索引查询,对我们目前的应用来说,移植起来更有优势: 下面我们看看,如何为DB建立二级索引: 还是用例子来说明: 一张表中记录学生的信息:每个学生有个唯一的ID,这个id通常就是表的…

除数据库表中的重复记录 根据条件 ① 创建表准备数据 创建表 tab_test -- Create table create table TAB_TEST ( ID NUMBER, NAME NVARCHAR2(), VALUE NVARCHAR2(), TIME DATE default sysdate not null ) 插入模拟数据 , 'aa ', 'vv'); , 'aa ', 'vv'); , 'bb ', 'vv'); , 'bb ', 'vv'); , 'cc ', 'vv')…

--例如: id NAME VALUE 1 a pp 2 a pp 3 b iii 4 b pp 5 b pp 6 c pp 7 c pp 8 c iii --id是主键 --要求得到这样的结果 id NAME VALUE 1 a pp 3 b iii 4 b pp 6 c pp 8 c iii --方法1 DELETE YourTable WHERE [id] NOT IN (SELECT MAX([id]) FROM YourTable GROUP BY (NAME + VALUE)) --…