【分布式搜索引擎】Elasticsearch如何部署以及优化查询性能

一、Elasticsearch生产集群如何部署

（1）es生产集群部署5台机器，若每台机器是6核64G的，那么集群总内存是320G

（2）假如我们es集群的日增量数据大概是2000万条，每天日增量数据大概是500MB，每月增量数据大概是6亿，15G。若系统已经运行了几个月，那么es集群里数据总量大概是100G左右。

（3）建有5个索引（这个结合自己业务来，看看自己有哪些数据可以放es的），每个索引的数据量大概是20G，所以这个数据量之内，每个索引可以分配8个shard，比默认的5个shard多了3个shard

二、Elasticsearch如何优化查询性能

1）Elasticsearch查询慢的原因

　　当我们往es里写的数据时，实际上都写到磁盘文件里去了，磁盘文件里的数据操作系统会自动将里面的数据缓存到os cache中。

　　那么当我们的数据量特别大的时候，比如上面的部署场景，5台机器总内存是320G，但是我们存储了3200G的数据，那么最多就十分之一的数据能存入内存。那么大部分查询肯定很慢。

　　走磁盘一般肯定上秒，搜索性能绝对是秒级别的，1秒，5秒，10秒。但是如果是走filesystem cache，是走纯内存的，那么一般来说性能比走磁盘要高一个数量级，基本上就是毫秒级的，从几毫秒到几百毫秒不等

2）如何优化呢？

　　es的搜索引擎严重依赖于底层的filesystem cache，你如果给filesystem cache更多的内存，尽量让内存可以容纳所有的indx segment file索引数据文件，那么你搜索的时候就基本都是走内存的，性能会非常高。
　　还是拿上面的部署场景举例，5台机器总内存是320G，假如分配给JVM或其他的总内存占100G，那么我们还有220G内存可以用来缓存Elasticsearch查询数据。若我们能够保证往Elasticsearch中存储的数据不超过220G，也就是保证所有数据都能走缓存，那么查询效率肯定很高。
　　如果我们的存储数据要超过220G了，怎么办？通过加机器吧。。。