Elasticsearch学习笔记（一）

批量建索引：

curl -s -XPOST 'localhost:9200/_bulk' --data-binary @documents.json

查看索引mapping
myindex/_mapping

分页：

from、size

返回版本：

"version": true

利用得分限制结果集：

"min_score": 0.75

"fields":*  返回所有字段

_source字段：

请求一个没有存储的字段时，这个字段将从_source字段中提取（需要额外处理）；返回_source字段比返回多个存储字段性能更好

部分字段：(排除字段)

"partial_fields": { "partial1": { "include": ['titl*'], "exclude": ["chara*"] }}

脚本字段：

{"scirpt_fields": {"correctYear": {"script": "doc['year'].value - 1800" }}}   或   "script": "_source.year - 1800"  (更省内存，支持更复杂字段值)

传参数给脚本："params": {"paramYear": 1800}   然后"script": "_source.year - paramYear" }

搜索执行偏好：（控制在哪些分片上执行查询，如：_primary、_primary_first、_shards）

curl -XGET 'localhost:9200/library/_search?preference=_local' -d json

搜索分片API：（此API允许检查将执行查询的分片）

curl -XGET 'localhost:9200/library/_search_shards?pretty' -d json

加权查询：

"title": {"value": "crime", "boost": 10.0}

多词条查询：

"terms": {"title": ['book', 'novel'], "minimum_match": 1

term查询不分析，match查询分析，

multi_search查询：（多个字段上查询）

query_string查询

simple_query_string: "simple_query_string": {"query": "title: crime^10 +title:punishment -otitle:cat"}

标识符查询（ids，此查询针对内部的_uid字段运行，不需要启用_id字段）、前缀查询(prefix)

fuzzy查询（fuzzy）

通配符查询（wildcard，允许使用*和?等通配符，性能不好，尽量避免前缀通配符）: "wildcard": {"title": "cr?me"}

范围查询（range, 同时支持数值型和字符串，范围查询只能针对单个字段）

最大分查询

_all域(默认启用)

ElasticSearch默认为每个被索引的文档都定义了一个特殊的域 - '_all'，它自动包含被索引文档中一个或者多个域中的内容， 在进行搜索时，如果不指明要搜索的文档的域，ElasticSearch则会去搜索_all域。_all带来搜索方便，其代价是增加了系统在索引阶段对CPU和存储空间资源的开销。
默认情况，ElasticSarch自动使用_all所有的文档的域都会被加到_all中进行索引。可以使用"_all" : {"enabled":false} 开关禁用它。如果某个域不希望被加到_all中，可以使用 "include_in_all":false。例如：

{
    "person": {
        "_all": {
            "enabled": true
        }"properties": {
            "name": {
                "type": "object",
                "dynamic": false,
                "properties": {
                    "first": {
                        "type": "string",
                        "store": true,
                        "include_in_all": false
                    },
                    "last": {
                        "type": "string",
                        "index": "not_analyzed"
                    }
                }
            },
            "simple2": {
                "type": "long",
                "include_in_all": false
            }
        }
    }
}

查询时，_all和其它域一样使用：

GET/profiles/_search
{
    "query": {
        "match": {
            "_all": "food"
        }
    }
}

或者在不提供搜索域的情况下，默认会搜索_all，例如：

GET/profiles/_search
{
    "query": {
        "query_string": {
            "query": "food"
        }
    }
}

索引段信息

http://10.17.139.21:9200/_segments GET

• num_committed_segments"
• "num_search_segments"

每个shard都有以上两个段信息参数，段文件太多会影响ES检索性能

另外一种查询index段信息的方式：_plugin/head/ -> index信息 ->索引状态  -> segments

聚合

_search?search_type=count POST
如果不需要搜索到的文档，用search_type=count参数更好，会省掉一些不必要的工作，更高效

{
    "aggs": {
        "rowKeyAggs": {
            "stats": {
                "field": "target_type"
            }
        },
        "other": {
            "terms": {
                "field": "task_id"
            }
        }
    }
}

获取最小值

{
    "aggs": {
        "minAggs": {
            "min": {
                "field": "age"
            }
        }
    }
}

使用脚本

1.

{
    "aggs": {
        "minAggs": {
            "min": {
                "field": "target_type",
                "script": "_value - 10000"
            }
        }
    }
}

2.

{
    "aggs": {
        "minAggs": {
            "min": {
                "script": "doc['sex'].value - 10000"
            }
        }
    }
}

3.

{
    "aggs": {
        "minAggs": {
            "min": {
                "field": "target_type",
                "script": "_value - mod",
                "params": {
                    "mod": 1000
                }
            }
        }
    }
}

 value_count聚合（数值型和非数值型均适用）

{
    "aggs": {
        "minAggs": {
            "value_count": {
                "field": "name"
            }
        }
    }
}

桶聚合

#不同类型车牌数量统计，按数量排序

{
    "aggs": {
        "carTypeAggs": {
            "terms": {
                "field": "plate_type" #定义一个terms类型的桶
            }
        }
    }
}

terms桶会动态地为每一个它遇到的不重复的词条创建一个新的桶。因为我们针对的是color字段，那么terms桶会动态地为每种颜色创建一个新桶。

取得某个索引/类型下某个字段中出现不同值的个数

{
    "aggs": {
        "carTypeAggs": {
            "cardinality": {
                "field": "plate_type"
            }
        }
    }
}

桶中的桶

{
    "aggs": {
        "carTypeAggs": {
            "terms": {
                "field": "plate_type"
            },
            "aggs": {
                "avg_vehicle_speed": {
                    "avg": {
                        "field": "vehicle_speed"
                    }
                },
                "brandC": {
                    "terms": {
                        "field": "brand"
                    }
                }
            }
        }
    }
}

ES插件安装：

cd C:\elasticsearch-0.90.3\bin
plugin -install mobz/elasticsearch-head
离线安装
plugin -install file://usr/file.zip

ES断路器和路由

字段数据缓存（fielddata）及配置参数

Fielddata缓存是ES缓存的一部分，当查询对字段进行排序或切面计算时，ES将该字段或doc的所有倒排索引加载到内存，以便能快速访问这些字段或doc。
Index.fielddata.cache.type：该属性控制字段数据缓存的级别，属性值为resident或soft时为索引级别，但是并不建议使用索引级别，因为很难预测索引会分配到哪个节点上，无法预估每个节点上字段数据缓存的大小，可能会导致内存使用问题。属性值为node（默认值）时为节点级别，节点级别的配置包括indices.fielddata.cache.size和indices.fielddata.cache.expire。
indices.fielddata.cache.size：该属性来控制允许用于字段缓存的内存大小。可以设置成绝对值（如4GB）或百分比（如40%）。如果使用百分数，ES会按当前节点的最大堆内存的百分比计算内存使用量，而不是按可用堆内存。有了这个设置，最久未使用的fielddata会被回收，为新数据腾出空间。这个参数的配置是没有限制的，应该小心使用，默认是unbounded，ES永远不会回收fielddata缓存。
indices.fielddata.cache.expire：该属性控制字段数据缓存的过期时间，默认为-1，表示永不过期。但是一般情况下强烈不建议设置过期时间，因为重建字段数据缓存的代价是昂贵的。后期版本可能会废弃这个参数。

监控Fielddata缓存

Fielddata 的使用可以被监控：
按索引级别使用：
GET /_stats/fielddata?fields=* 
按节点级别使用：
GET /_nodes/stats/indices/fielddata?fields=*
按索引节点级别使用：
GET /_nodes/stats/indices/fielddata?level=indices&fields=* 
使用设置 ?fields=* ，可以将内存使用分配到每个字段。

断路器（fielddata circuit breaker）

如果一个查询要加载的fielddata超过可用堆内存的大小，就会导致OOM，因此ES设计了断路器，断路器的工作机制是预估一个查询所需要的内存大小，如果超过可用堆内存，就会终止查询并抛出Data too large Exception。这比OOM的代价要小。断路器的配置如下：
indices.breaker.fielddata.limit
fielddata 断路器默认设置堆的 60% 作为 fielddata 大小的上限。
indices.breaker.request.limit
request 断路器估算需要完成其他请求部分的结构大小，例如创建一个聚合桶，默认限制是堆内存的 40%。
indices.breaker.total.limit
total 揉合 request 和 fielddata 断路器保证两者组合起来不会使用超过堆内存的 70%。 
这两个配置是全局的，配置在config/elasticsearch.yml ，也可以通过REST更新一个集群：
PUT /_cluster/settings
{
"persistent" : {
"indices.breaker.fielddata.limit" : "40%" 
}
}
在实际使用过程中，Fielddata中的indices.fielddata.cache.size属性经常和断路器的indices.breaker.fielddata.limit属性配合使用，为了让fielddata数据更新正常进行，一般断路器的限制要比缓存大一些。

路由器

默认情况下，ES会在所有的索引分片中均匀的分配文档，查询文档时，需要查询所有分片并合并结果。
路由是可以控制文档分配和查询的目的分片，在创建索引的时候可以指定一个路由值，查询的时候可以通过这个路由值就可以指向对应的分片，相同查询的路由路径是相同的，1.x版本的ES可以将文档中的某个字段作为路由值，自2.0版本之后只能手动指定。路由确保了在索引时拥有相同路由值的文档会索引到相同的分片上，但一个给定的分片上可以有不同路由值的文档。

ES通过路由值锁定目标分片的公式：shard = hash(routing) % number_of_primary_shards。
通过路由值和索引名、索引类型的组合可以查询对应的节点，对应的API是searchshard API。
代码如下：
ClusterSearchShardsResponse response = esClient.admin().cluster().prepareSearchShards().setIndices(indices).setTypes(indexType).setRouting(routNum).execute().actionGet();

相关链接：

聚合：http://blog.csdn.net/dm_vincent/article/details/42407823

脑裂：http://www.cnblogs.com/chenying99/p/4350930.html