26.bulk批量操作

主要知识点

1、bulk语法

2、bulk使用时的注意事项

3、bulk size 对es性能的影响

 
 

一、bulk语法

每一个操作要两个json串（delete操作除外），每个json串占一行不能换行，语法如下：

{"action": {"metadata"}}

{"data"}

具体写法如下：

{"index": {"_index": "test_index", "_type", "test_type", "_id": "1"}}

{"test_field1": "test1", "test_field2": "test2"}

 
 

二、用法举例

POST /_bulk

{"delete":{"_index":"test_index","_type":"test_type","_id":10}}

{"create":{"_index":"test_index","_type":"test_type","_id":12}}

{"test_field": "test field 12"}

{"create":{"_index":"test_index","_type":"test_type","_id":2}}

{"test_field": "recreate test field 2"}

{"index":{"_index":"test_index","_type":"test_type","_id":2,"_retry_on_conflict":3}}

{"test_field2": "reindex test field2"}

{"update": {"_index":"test_index","_type":"test_type","_id":1}}

{"doc":{"test_field1": "partial update test field2"}}

执行结果如下：

{

"took": 189,

"errors": true,

"items": [

{

"delete": {

"found": true,

"_index": "test_index",

"_type": "test_type",

"_id": "10",

"_version": 2,

"result": "deleted",

"_shards": {

"total": 2,

"successful": 1,

"failed": 0

},

"status": 200

}

},

{

"create": {

"_index": "test_index",

"_type": "test_type",

"_id": "14",

"_version": 1,

"result": "created",

"_shards": {

"total": 2,

"successful": 1,

"failed": 0

},

"created": true,

"status": 201

}

},

{

"create": {

"_index": "test_index",

"_type": "test_type",

"_id": "2",

"status": 409,

"error": {

"type": "version_conflict_engine_exception",

"reason": "[test_type][2]: version conflict, document already exists (current version [5])",

"index_uuid": "d5YEp9EjTKevAC315oXfwA",

"shard": "2",

"index": "test_index"

}

}

},

{

"index": {

"_index": "test_index",

"_type": "test_type",

"_id": "2",

"_version": 6,

"result": "updated",

"_shards": {

"total": 2,

"successful": 1,

"failed": 0

},

"created": false,

"status": 200

}

},

{

"update": {

"_index": "test_index",

"_type": "test_type",

"_id": "1",

"_version": 3,

"result": "noop",

"_shards": {

"total": 2,

"successful": 1,

"failed": 0

},

"status": 200

}

}

]

}

可以看出，第一个deleter操作成功，第二个create操作成功，第三个create操作不成功（因为原_id=2的document已存在）第四个index操作成功，做全量替换，第五个update操作成功，

 
 

三、bulk可以执行的操作类型

（1）delete：删除一个文档，只要1个json串就可以了

（2）create：PUT /index/type/id/_create，强制创建

（3）index：普通的put操作，可以是创建文档，也可以是全量替换文档

（4）update：执行的partial update操作

 
 

四、其他写法

 
 

（1）当所有的操作都作用于同一个index时：

POST /test_index/_bulk

{ "delete": { "_type": "test_type", "_id": "3" }}

{ "create": { "_type": "test_type", "_id": "12" }}

{ "test_field": "test12" }

{ "index": { "_type": "test_type" }}

{ "test_field": "auto-generate id test" }

{ "index": { "_type": "test_type", "_id": "2" }}

{ "test_field": "replaced test2" }

{ "update": { "_type": "test_type", "_id": "1", "_retry_on_conflict" : 3} }

{ "doc" : {"test_field2" : "bulk test1"} }

 
 

（2）当所有的操作都作用于同一个index下的同一个type时：

POST /test_index/test_type/_bulk

{ "delete": { "_id": "3" }}

{ "create": { "_id": "12" }}

{ "test_field": "test12" }

{ "index": { }}

{ "test_field": "auto-generate id test" }

{ "index": { "_id": "2" }}

{ "test_field": "replaced test2" }

{ "update": { "_id": "1", "_retry_on_conflict" : 3} }

{ "doc" : {"test_field2" : "bulk test1"} }

 
 

五、bulk size对性能的影响

bulk request会加载到内存里，如果太大的话，性能反而会下降，因此需要反复尝试一个最佳的bulk size。一般从1000~5000条数据开始，尝试逐渐增加。另外，如果看大小的话，最好是在5~15MB之间。

 
 

六、 bulk语法的注意事项

1、bulk api对json的语法有严格的要求，每个json串不能换行，只能放一行，同时一个json串和一个json串之间，必须有一个换行。

2、bulk操作中，任意一个操作失败，是不会影响其他的操作的，但是在返回结果里，es会告诉异常日志