使用SQL语法来查询Elasticsearch：Elasticsearch-SQL插件

简介

Elasticsearch-SQL是Elasticsearch的一个插件，它可以让我们通过类似SQL的方式对Elasticsearch中的数据进行查询。项目地址是：https://github.com/NLPchina/elasticsearch-sql

安装

不同Elasticsearch版本需要安装的插件版本也不同，我们使用的Elasticsearch版本是2.3.3，对应版本插件安装方法是(先切换到Elasticsearch目录下)：

./bin/plugin install https://github.com/NLPchina/elasticsearch-sql/releases/download/2.3.3.0/elasticsearch-sql-2.3.3.0.zip

其他的Elasticsearch版本安装地址参考https://github.com/NLPchina/elasticsearch-sql上的说明。

执行结果如下：

[root@ceshi202 opt]# cd elasticsearch-2.3.3/

[root@ceshi202 elasticsearch-2.3.3]# ./bin/plugin install https://github.com/NLPchina/elasticsearch-sql/releases/download/2.3.3.0/elasticsearch-sql-2.3.3.0.zip

-> Installing from https://github.com/NLPchina/elasticsearch-sql/releases/download/2.3.3.0/elasticsearch-sql-2.3.3.0.zip...

Trying https://github.com/NLPchina/elasticsearch-sql/releases/download/2.3.3.0/elasticsearch-sql-2.3.3.0.zip ...

Failed: SocketTimeoutException[connect timed out]

ERROR: failed to download out of all possible locations..., use --verbose to get detailed information

这是因为某些不可名状的原因导致文件下载失败。其实在生产环境中很多服务器也是不能直接连接外网进行下载的。我先将文件下载到本地，然后再上传到生产环境的服务器中，下载地址就是安装插件命令的install后面的url，下载速度挺慢的。

在上传到服务器后，我们从本地文件安装插件。安装插件时在install后面加"file:"，之后加Elasticsearch-sql.zip文件的绝对路径：

[root@ceshi202 elasticsearch-2.3.3]# ./bin/plugin install file:/opt/elasticsearch-2.3.3/elasticsearch-sql-2.3.3.0.zip

-> Installing from file:/opt/elasticsearch-2.3.3/elasticsearch-sql-2.3.3.0.zip...

Trying file:/opt/elasticsearch-2.3.3/elasticsearch-sql-2.3.3.0.zip ...

Downloading .......................................DONE

Verifying file:/opt/elasticsearch-2.3.3/elasticsearch-sql-2.3.3.0.zip checksums if available ...

NOTE: Unable to verify checksum for downloaded plugin (unable to find .sha1 or .md5 file to verify)

Installed sql into /opt/elasticsearch-2.3.3/plugins/sql

[root@ceshi202 elasticsearch-2.3.3]#

安装结束后，需要重新启动Elasticsearch服务，不然在搜索的时候会有下面的报错：

Invalid index name [sql], must not start with '']; ","status":400}.

我的报错如下：

基本用法

不同Elasticsearch版本的使用方法不同，1.x / 2.x的方法相似，5.x的使用方法比较特殊，因为没有使用过，就不做介绍了，参考官方的说明吧。

在elasticsearch 1.x / 2.x上，从浏览器访问：

http://localhost:9200/_plugin/sql/

打开页面如下：

基本查询

打开页面的SQL Query中是最基本的查询，将"SELECT * FROM myindex"中的myindex改成你的Elasticsearch中索引的名字就可以进行搜索：

同时可增加搜索条件：

SELECT common,page FROM myindex where common.channel = "AppStore" and page.duration > 5000 limit 10

在搜索index时可以使用"*"来同时搜索多个索引：

SELECT common,page FROM myindex-* where common.channel = "AppStore" and page.duration > 5000 limit 10

可以做基本的统计

Select COUNT(*),SUM(page.duration),MIN(page.duration) as m, MAX(page.duration),AVG(page.duration)

FROM myindex-* GROUP BY common.device_id ORDER BY SUM(page.duration), m DESC

也可以使用Elasticsearch自带的一些函数做matchQuery、聚合(Aggregations)、地理位置(Geographic)等。

支持的SQL语句包括：

SQL Select
SQL Delete
SQL Where
SQL Order By
SQL Group By
SQL AND & OR
SQL Like
SQL COUNT distinct
SQL In
SQL Between
SQL Aliases
SQL Not Null
SQL(ES) Date
SQL avg()
SQL count()
SQL last()
SQL max()
SQL min()
SQL sum()
SQL Nulls
SQL isnull()
SQL now()
SQL floor
SQL split
SQL trim
SQL log
SQL log10
SQL substring
SQL round
SQL sqrt
SQL concat_ws
SQL union and minus

支持的Elasticsearch函数包括：

ES TopHits
ES MISSING
ES STATS
ES GEO_INTERSECTS
ES GEO_BOUNDING_BOX
ES GEO_DISTANCE
ES GEOHASH_GRID aggregation