解决Elasticsearch问题的一些心得体会

　　在开始前先来介绍下背景：我的日志采集系统采用ELK（logstash（收集）、elasticsearch（存储+搜索）、kibana（展示）三个软件的简称）开源架构，在elasticsearch搭建了三台Linux节点，IP地址分别为：10.0.48.108，10.0.48.97，10.0.48.98，elasticsearch 2.4.6和kibana4.5.4部署在前两个节点服务器上，logstash2.3.1部署在最后一台服务器上，部署过程遇到许多问题，特意记录下来，以后有新的问题出现也会持续更新。

一、问题1

　　今天在启动集群的时候108节点上出现ES【elasticsearch 集群健康值未连接】问题，而97上的ES能正常启动情况下我们用head插件查看elasticsearch集群状态如下图：

（图1）

　　出现这个问题，我最先想到的是去重启该节点，通过命令：service elasticsearch restart，然后用命令：service elasticsearch status查看ES的状态，返回的状态结果如下：

[[WARN ][transport.netty          ] [NODENAME] exception caught on transport layer [[id: 0x9634070f]], closing connection
java.net.NoRouteToHostException: No route to host
    at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
    at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:)
    at org.elasticsearch.common.netty.channel.socket.nio.NioClientBoss.connect(NioClientBoss.java:)
    at org.elasticsearch.common.netty.channel.socket.nio.NioClientBoss.processSelectedKeys(NioClientBoss.java:)
    at org.elasticsearch.common.netty.channel.socket.nio.NioClientBoss.process(NioClientBoss.java:)
    at org.elasticsearch.common.netty.channel.socket.nio.AbstractNioSelector.run(AbstractNioSelector.java:)
    at org.elasticsearch.common.netty.channel.socket.nio.NioClientBoss.run(NioClientBoss.java:)
    at org.elasticsearch.common.netty.util.ThreadRenamingRunnable.run(ThreadRenamingRunnable.java:)
    at org.elasticsearch.common.netty.util.internal.DeadLockProofWorker$.run(DeadLockProofWorker.java:)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:)
    at java.lang.Thread.run(Thread.java:)

　　

　　从提示来看是因为找不到路由的原因，首先想到问题可能的原因是防火墙原因导致的，然而我在配置的时候已经打开了9200，9300等ES用到的端口，一时也不知道怎么解决，然后就去Google了一下错误提示，找到的答案都是关闭防火墙，居然都这么说，我就是去关闭了防火墙，不过很显然是毫无作用。后来看到又看到有人说是selinux安全策略导致的，于是也去用命令：setenforce 0关闭了，还是不起作用。到此一直折腾这个问题很久，都没找到最终解决方法，最后还是在这里看到有人说可能是一个系统bug，但是应该不影响ES启动才对，仔细一些它也对，它仅仅是一个警告（WARN）级别的提示，由此我才从这个坑里面退了出来。

　　居然不是这个问题，那么就肯定是其他啥原因了，可是一直找啊找就是不知道啥问题啊，看日志每秒钟写进去的都是刚刚那个警告信息，没有其他错误啊，到这里彻底绝望！最后实在没办法只有重装ES咯，不过还要ES中写入的数据不会清空。然后重装，配置，居然还真就可以了，这真是奇妙，不过问题原因我还是不知道，于是我就回想最近对Linux系统的一些操作，后来终于想起我前些天把JDK给卸载了，重新安装了一个新的，我猜测SE安装前就关联了JAVA的，如果后来改变了，那就会影响到SE。

二、解决问题后的思考

（1）有时候看到的错误提示，可能不是我们想要的东西，只是表象，解决问题的时候不要钻牛角尖

（2）在生产系统的话，任何可能的操作都可能影响其他系统，还好我这里是测试环境，以后一定要注意

（3）解决问题的时候要多尝试，不要怕麻烦，像我这里重装ES也是实在没办法才选择的，如果早一点这么选择，我也不会耽搁一天时候就找原因

三、问题待续

　　有时间再写..........