https://my.oschina.net/u/3625378/blog/1793796

今天es在保存数据的时候报错 org.frameworkset.elasticsearch.ElasticSearchException: {"error":{"root_cause":[{"type":"cluster_block_exception","reason":"blocked by: [FORBIDDEN/12/index read-only / allow delete (api)

0.现象 es 集群报red ,有unassigned shared , 用命令 curl localhost:9200/_cat/shards |grep UNASSIGNED 可以查看. 即使你马上加节点,还是没有改善.新节点并不会正常工作,可能跟集群red有关系. 1.根本原因 节点磁盘不足,导致某些分片无法分配,一般情况下都有集群会有水位设置,比如说可以设置50G或者到85%的时候就不往里写数据了, 但是之前一次出了故障导致必须放开这个限制,之后没加上. 可以用命令: GET /_clu

elasticSearch的错误 NoNodeAvailableException[None of the configured nodes are available: [{#transport#-1}{-kTJsUqFSb69yMQ5v1fcuw}{192.168.56.101}{192.168.56.101:9300}] 找到服务器端口 找到安装目录下的  elasticsearch.yml配置文件 找到 这一行  cluster.name: 修改成自己search的与配置文件中的clus

异常: Caused by: org.elasticsearch.common.io.stream.NotSerializableExceptionWrapper: too_many_clauses: maxClauseCount is set to 1024 用了es的in查询,in中id大于1024个,导致es报错,es默认支持元素数量为1024个. 解决办法: 编辑elasticsearch.yml,添加如下配置: index.query.bool.max_clause_count: 10

1:es集群脑裂问题(不要用外网ip,节点角色不要混用) 原因1:阿里云服务器,外网有时候不稳定. 解决方案:单独采购服务器,内网安装 原因2:master和node节点没有分开 解决方案: 分角色:master节点(三台),data节点(随着数据增加而增加),client(随着查询压力而增加)节点 Master节点:node.master: true   node.data: false Data节点:node.master: false   node.data: true Client 节点

借鉴网上资料并实施验证结果 elasticsearch6.6安装 安装包下载路径 https://www.elastic.co/downloads/elasticsearch 本文使用安装包 elasticsearch-6.6.0.tar.gz 系统 Centos 6 安装 解压路径 /opt/elasticsearch-6.6.0 jdk1.8(原系统很多项目是用的jdk1.7的,保持不变,新源码装jdk1.8至目录/opt/jdk1.8) 一.修改es的jdk环境变量(es6.x需要jdk1

一.分词错误 [2018-02-06 14:28:30:098] --- [INFO] --- [CjhArticleSimilarityTask.java:66] --- [[SimilarityConsumeTask]=报错结束,时间:2018-02-06 14:28:30,errorMsg:Failed to deserialize response of type [org.elasticsearch.action.admin.indices.analyze.AnalyzeRespons

ELK从5.6.3升级到6.3.0总结 由于6.3.0默认有es的监控功能,并且我们现在es总是有各种问题,原有的es开源插件head和HQ的监控都不够详细,所以决定升级es集群.我们目前es有5个node.我们的数据流向是filebeat logstash kafka logstash elasticsearch grafana elasticsearch 升级总结 安装总结 由于各种配置文件问题,直接rpm -e elasticsearch, 然后安装6.3.0的es,/etc/elasti

Elastic Stack之ElasticSearch分布式集群二进制方式部署 作者:尹正杰  版权声明:原创作品,谢绝转载!否则将追究法律责任. 想必大家都知道ELK其实就是Elasticsearch+Logstash+Kibanna.其中的Logstash由于收集日志很占用资源,官方引入了一个新的组建叫做Beats.它以后可能会渠道Logstash,因为Beats是比Logstash更轻量级的日志收集工具.于此同时,该公司还引入了X-pack插件(需要单独安装),可以在安全审计,权限控制,机

1.按照官网安装 结果启动不了,看了log日志以后,发现是es报错,不能以root权限启动

需求 ES集群Cluster_A里的数据(某个索引或某几个索引),需要迁移到另外一个ES集群Cluster_B中. 环境 Linux:Centos7 / Centos6.5/ Centos6.4Elastic:5.2.0 总结的方法 查询并导出数据 拷贝ES物理目录/文件 ES快照数据备份和恢复 迁移方法 分别进行以上方法的详细介绍: 查询并导出数据 理论 通过ES提供的查询API,写各种程序,把数据导出csv,或者把数据查询出来,直接入库到新的ES集群中. 实践 #coding=utf-8 i

input { file { path => ["/data/test.log"] start_position => "beginning" sincedb_path => "/dev/null" } } output { stdout { codec => rubydebug } } 要点就在这行 sincedb_path => “/dev/null” 了!该参数用来指定 sincedb 文件名,但是如果我们设置

1. 由 gc 引起节点异常 问题: 因为 gc 时会使 jvm 停止工作,如果某个节点 gc 时间过长,master ping 3次(zen discovery默认 ping 失败重试 3 次)不通后就会把该节点剔除出集群,从而导致索引进行重新分配. 解决方法: 1. 优化gc,减少gc时间. 2. 调大zen discovery 的重试次数(es参数:ping_retries)和超时时间(es参数:ping_timeout) 后来发现根本原因是有个节点的系统所在硬盘满了.导致系统性能下降.

版权声明:本文为博主原创文章,地址:http://blog.csdn.net/napoay,转载请留言. 一.拼音分词的应用 拼音分词在日常生活中其实很常见,也许你每天都在用.打开淘宝看一看吧,输入拼音”zhonghua”,下面会有包含”zhonghua”对应的中文”中华”的商品的提示: 拼音分词是根据输入的拼音提示对应的中文,通过拼音分词提升搜索体验.加快搜索速度.下面介绍如何在Elasticsearch 5.1.1中配置和实现pinyin+iK分词. 二.IK分词器下载与安装 关于IK分词器

1.安装elasticsearch . 安装系统:centors7 1.下载安装包 官网地址:https://www.elastic.co/downloads/past-releases 2.mac文件下载后上传到centrs7. 终端-shell- 新建远程连接.弹出下图 选择自己的服务器. 之后 使用put命令 上传到自己的服务器 3.解压文件到指定目录. tar -xvf elasticsearch-6.3.0.tar.gz 4.配置 系统参数 .因为每个版本不同,es默认有些参数 和 系

es部署:es只能用普通用户启动 博客园首发,转载请注明出处:https://www.cnblogs.com/tzxxh/p/9435318.html 一.环境准备: 安装jdk1.8.创建普通用户 二.安装: 方法一:tar包的形式 1.登陆普通用户 2.下载elasticsearch tar包 3.解压elasticsearch包 4.配置$ES_HOME/config 下的 elasticsearch.yml  cluster.name: TestELK node.name: spark7

0.业务场景 将ES中某个index的某个字段的所有数据,导出到文件中 1.ES数据导出方法简述 ES数据导出方法,我主要找到了以下几个方面,欢迎大家补充: ES官方API:snapshot and restore module The snapshot and restore module allows to create snapshots of individual indices or an entire cluster into a remote repository like sha

PAAS 1.   停止服务 ./bkcec stop paas 2.   修改install.config 3.   删除中控机 /data/install/.bk_install.step 和原paas主机/data/bkce/.installed_module两个文件中包含paas的行. 4.   删除原paas主机上的多余文件 rm -rf /data/bkce/open_paas/ \ rm -rf /data/bkce/public/open_paas/ \ rm -f /data/

最近在学ES(elastic search),参考http://www.learnes.net/里面翻译的官方权威指南(后面发现官网已经推出了中文版文档了).里面有的例子把访问ES的命令做了简化如下: curl -XGET 'localhost:9200/_count?pretty' -d ' { "query": { "match_all": {} } }' //简化为 GET /_count { "query": { "match_

摘自:http://unasm.com/2016/11/644/ 在通过 /_cluster/state 命令查看es 状态的时候,发现es 处于一个yellow的状态, 这个很奇怪,按照官方的解释,就是所有主分片都是处于可用状态,但是有复制分片不可用.为什么有复制分片不可用呢? 通过/_cat/shards 查看,发现有从分配处于一个未分配的状态,该命令该出的数据奇怪的地方是,我的集群明明有三台机器,但是shareds里面只给出了两台. data 2 r STARTED 449516 1.6g