es-index-clear.sh: #!/bin/bash#----------------------------------------------# Module: es-index-clear# Comment: To clear elastic-index on interval!# Date: 2018/10/5# Author: aodi# Version: 1.0#---------------------------------------------- #循环清理过期索引w…

elastic索引日志清理不及时,很容易产生磁盘紧张,官网给出curl -k -XDELETE可以清理不需要的索引日志. 清理脚本 #!/bin/bash #Author: 648403020@qq.com #date: 2019.03.28 # 需要清理几天以前的索引日志 CLEAN_DAY=7 # 获取N天以前的年月日 YEAR=$(date -d "$(date -I) -$CLEAN_DAY"day"" +%Y) MONTH=$(date -d "…

只是记录两条简单的命令 查看所有的索引文件: curl -XGET http://localhost:9200/_cat/indices?v 删除索引文件以释放空间: curl -XDELETE http://localhost:9200/ngx—www-2017.02.28…

不知道大家那有没有要清理的这个事情.需要清理目录历史文件.可能后续也会有很多其他地方需要清理历史文件,可能会用到. 我这两天空闲写了个脚本,清理比较方便,有要进行清理的大量历史文件的话可以用. 脚本用到的命令只有linux才有,像solaris等就不支持,所以只能在linux上运行.如果是nas存储的话,可以挂载到一个linux主机上跑脚本清理. 另外,脚本查找文件用的是ls,但是ls也有最大文件的限度(大概10w以内),如果每天文件很多,每天都是10w+的,运行可能提示文件数过多无法ls. 还…

背景 之前公司小王在工作中清理elasticSearch 索引,不小心使用脚本清空了最近使用的重要索引,导致开发无法准确的进行定位生产问题,造成了很大困扰. 当时我们的生产环境中是这样配置日志系统的:服务器 -> filebeat -> kakfa -> logstash -> elasticsearch -> kibana 页面.其中在缓存配置中我们配置了kafka集群. es 数据丢失之后,我们考虑使用拉去kafka 集群中的存储的消息,让它重新消费一边,更换消费组,从头…

ElasticSearch是文档型数据库,索引(Index)定义了文档的逻辑存储和字段类型,每个索引可以包含多个文档类型,文档类型是文档的集合,文档以索引定义的逻辑存储模型,比如,指定分片和副本的数量,配置刷新频率,分配分析器等,存储在索引中的海量文档分布式存储在ElasticSearch集群中. ElasticSearch是基于Lucene框架的全文搜索引擎,将所有文档的信息写入到倒排索引(Inverted Index)的数据结构中,倒排索引建立的是索引中词和文档之间的映射关系,在倒排索引中,…

列出所有索引 现在来看看我们的索引 GET /_cat/indices?v 响应 health status index uuid pri rep docs.count docs.deleted store.size pri.store.size yellow open .kibana XYZPR5XGQGWj8YlyZ1et_w .1kb .1kb 可以看到在集群中有一个索引 创建索引 现在让我们创建一个名叫"customer" 的索引,然后再次列出所有的索引 PUT /custom…

一.Elasticsearch 索引(新建)一个文档的命令: curl XPUT ' http://localhost:9200/test_es_order_index/test_es_order_type/1 ' -d ' { "id": 5, "name": "test555", "skuName": "55", "age":23 } ' 这里test_es_order_index…

Elasticsearch 索引的全量/增量更新 当你的es 索引数据从mysql 全量导入之后,如何根据其他客户端改变索引数据源带来的变动来更新 es 索引数据呢. 首先用 Python 全量生成 Elasticsearch 和 ik 初始的分词索引数据,增量更新索引实现如下: 服务端(Python+redis-sub)# Python-redis 开启监听 'leon' 等待客户端推送消息,来增量更新es文档 #-*- coding:utf8 -*-import sysimport redi…

我用 python 写了一个自动生成索引的脚本 简介:为了刷算法题,建了一个 GitHub仓库:PiperLiu / ACMOI_Journey,记录自己的刷题轨迹,并总结一下方法.心得.想到一个需求:能不能在我每新增一条题目的笔记后,利用程序自动地将其归类.创建索引?用 Python 实现一个入门级的小脚本,涉及到文件读写.命令行参数.数组操作应用等知识点,在此分享给朋友们. 需求实现 我有一个 Markdown 文档,长成下面这个样子: # ACM/OI Journey在此留下刷题痕迹与刷题…

一.前言 在 Elasticsearch 的日常中,有很多如存储 系统日志.行为数据等方面的应用场景,这些场景的特点是数据量非常大,并且随着时间的增长 索引 的数量也会持续增长,然而这些场景基本上只有最近一段时间的数据有使用价值或者会被经常使用(热数据),而历史数据几乎没有作用或者很少会被使用(冷数据),这个时候就需要对 索引 进行一定策略的维护管理甚至是删除清理,否则随着数据量越来越多除了浪费磁盘与内存空间之外,还会严重影响 Elasticsearch 的性能: 在 Elastic Stack…

目录 返回目录:http://www.cnblogs.com/hanyinglong/p/5464604.html 1.Elasticsearch索引说明 a. 通过上面几篇博客已经将Elasticsearch的安装配置以及基本概念和通信方式基本了解了,当了解完这些内容之后,继而就可以去使用它,学习它,也应用在项目中,从这篇博客开始将使用一个简单的教程来学习Elasticsearch,通过此教程,希望可以让大家对Elasticsearch能做的事以及易用程度有了解并且可以使用它,至于更加深层次的…

转自: Linux 服务器系统监控脚本 Shell - 今日头条(www.toutiao.com)http://www.toutiao.com/i6373134402163048961/ 本程序在CentOS 6 下运行成功 其它系统请自行修改参数 monitor_man.sh 主程序 check_http_log.sh Nginx的日志分析模块 check_server.sh 检查Nginx和MySQL的运行状态模块 system_monitor.sh 系统状态模块 一共4个脚本文件 放在一个…

转载 http://blog.csdn.net/endlu/article/details/51720299 最近在参与一个基于Elasticsearch作为底层数据框架提供大数据量(亿级)的实时统计查询的方案设计工作,花了些时间学习Elasticsearch的基础理论知识,整理了一下,希望能对Elasticsearch感兴趣/想了解的同学有所帮助. 同时也希望有发现内容不正确或者有疑问的地方,望指明,一起探讨,学习,进步. 介绍 Elasticsearch 是一个分布式可扩展的实时搜索和分析引…

ElasticSearch index 剖析 在看ElasticSearch权威指南基础入门中关于:分片内部原理这一小节内容后,大致对ElasticSearch的索引.搜索底层实现有了一个初步的认识.记录一下在看文档的过程中碰到的问题以及我的理解.此外,在文章的末尾,还讨论分布式系统中的主从复制原理,以及采用这种副本复制方案带来的数据一致性问题. ElasticSearch index 操作背后发生了什么? 更具体地,就是执行PUT操作向ElasticSearch添加一篇文档时,底层发生的一系列…

Linux脚本shell字符串处理,基本都有了,看着搜吧 TLDP教堂 shell中if条件字符串.数字比对,[[ ]]和[ ]区别 Linux 之 shell 比较运算符 Linux Shell编程变量赋值和引用  …

curl -XPOST http://master:9200/djt/user/3/_update -d '{"doc":{"name":"我们是中国人,钓鱼岛是我们的"}}' curl -XPOST 'http://master:9200/djt/user/_search' -d '{"query":{"match":{"中国人"}}}' ElasticSearch 索引模块-集成IK…

项目中数据库根据月份水平划分,由于没有用数据库中间件,没办法一下查询所有订单信息,所有用Elasticsearch做订单检索. Elasticsearch索引和数据库分片同步,也是根据月份来建立索引. 思路: 建立索引时用“order_yyyyMM”命名: 为这些订单索引建立别名“order”: 写数据时把数据写到对应的月份索引,读时根据别名读取,就可以查询到所有订单数据: 对索引分片也可以根据业务灵活的删除老数据. 具体实现需要用到模板, template可以修改索引的默认配置.我们以下面这个…

elasticsearch设置执行脚本并添加开机启动 在/etc/init.d目录下新建文件elasticsearch #!/bin/sh #chkconfig: 2345 80 05 #description: elasticsearch export JAVA_HOME=/usr/java/jdk1.8.0_112 export JAVA_BIN=/usr/java/jdk1.8.0_112/bin export PATH=$PATH:$JAVA_HOME/bin export CLASSP…

原文:Elasticsearch入门教程(三):Elasticsearch索引&映射 版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/vbirdbest/article/details/79213163 索引概念简介 通常说的索引有两种词性,名称和动词. 动词索引indexing,索引一个文档,表示把一个文档存储到索引Index里,可以用来查询和检索,es采用倒排索引 名词索引index,…

sphinx的特色之一是建立索引速度快,最近转投Elasticsearch后,一直想做个对比,网上资料常见说法是10倍的差距. 测试环境 硬件:单核,2G内存的E5-2630 虚拟机 操作系统:Centos 6.5 版本 sphinx 版本:coreseek 4.1(基于sphinx 2.02) Elasticsearch 版本:2.3.1 mysql 版本:5.6 分词器(均使用默认的分词词库) mmseg:coreseek自带 ik:Elasticsearch 插件 索引数据源 数据库:my…

更多精彩内容请看我的个人博客 前言 相比于大多数人熟悉的MySQL数据库的索引,Elasticsearch的索引机制是完全不同于MySQL的B+Tree结构.索引会被压缩放入内存用于加速搜索过程,这一点在效率上是完爆MySQL数据库的.但是Elasticsearch会对全部text字段进行索引,必然会消耗巨大的内存,为此Elasticsearch针对索引进行了深度的优化.在保证执行效率的同时,尽量缩减内存空间的占用.这篇文章就深度解析了Elasticsearch索引原理,揭开搜索的神秘面纱. 简…

zabbix客户端监控脚本shell #!/bin/sh sleep 3 zabbixdir=`pwd` zabbix_version=4.2.5 ###指定版本,最好和server端吻合版本,可以自定义即可 ip=`ip addr |grep inet |egrep -v "inet6|127.0.0.1" |awk '{print $2}' |awk -F "/" '{print $1}'` echo "当前目录为:$zabbixdir" e…

转载地址:https://dongbo0737.github.io/2017/06/13/elasticsearch-template/#similar_posts Elasticsearch索引模板 使用Elasticsearch 存储数据的时候,每个单独的索引,或者一个类型的索引都可能有些自己特殊的属性,这样我们就要使用template了 通过指定指定的模版名字,来定义这个类型的索引多少个分片和副本,哪些字段不需要分词等等 使用*可以模糊匹配索引. 例如: business-* 可以匹配到…

Elasticsearch部署建议 1. 选择合理的硬件配置:尽可能使用 SSD Elasticsearch 最大的瓶颈往往是磁盘读写性能,尤其是随机读取性能.使用SSD(PCI-E接口SSD卡/SATA接口SSD盘)通常比机械硬盘(SATA盘/SAS盘)查询速度快5~10倍,写入性能提升不明显. 对于文档检索类查询性能要求较高的场景,建议考虑 SSD 作为存储,同时按照 1:10 的比例配置内存和硬盘.对于日志分析类查询并发要求较低的场景,可以考虑采用机械硬盘作为存储,同时按照 1:50 的比…

文章转载自: https://mp.weixin.qq.com/s?__biz=MzI2NDY1MTA3OQ==&mid=2247484130&idx=1&sn=454f1994eb9434687f787f00533d414d&chksm=eaa82acadddfa3dcef7c1cf3966db4828f1e46f6302cececbf5a20ee353310800f39a1df367e&scene=21#wechat_redirect 冷热分离结合滚动模式工作流…

logstash每天往es建好索引,按天生成,就目前的需求,需要清理不需要的数据,以保证最新日志的速度展示,哈哈,瞎搞了这个脚本,路过的大神批评. #!/usr/bin/env python # coding:utf8 #author: shantuwqk@163.com import sys,datetime import os,time,commands HOST = '192.168.35.125' PORT = '9200' #排除不需要删除的索引列表 NotDEL = ['g1_sms…

只保留七天的索引 shell版 #!/bin/bash #hexm@ #只保留一周es日志 logName=( -nginxaccesslog -nginxerrorlog -phperrorlog ) #es配置文件 config=/usr/local/app/elasticsearch-/config/elasticsearch.yml #日期 time=`date -d "7 day ago" +-%Y.%m.%d` ip=`grep "network.host&quo…

一 es 基本操作 查看所有的索引文件:  curl -XGET http://localhost:9200/_cat/indices?v GET /_cat/indices?v DELETE /filebeat-2018.07.21 二  挂crontab定时删es数据  #!/bin/bash # filename:deleteEsData.sh # 每天2点定时删除es中指定日期的数据 # crontab: 0 2 * * * sh /Application/enterprise/deen…

对于启动sphinx的服务,可以直接输入如下命令 /usr/bin/searchd -c /etc/sphinx/sphinx.conf <!-- /usr/local/bin/searchd -c /etc/sphinx.conf --> 下面是写成脚本的方式方便以后维护 因为工作需要,所以把管理 Sphinx 的相关操作写成一个管理脚本,方便日常使用. #!/bin/sh #file: /usr/local/bin/sphinx # #~ power by yagas60@21cn.com…