ElasticSearch.net NEST批量创建修改删除索引完整示例
本示例采用Elasticsearch+Nest
网上查了很多资料,发现用C#调用Elasticsearch搜索引擎的功能代码很分散,功能不完整,多半是非常简单的操作,没有成型的应用示例。比如新增或修改索引,都是发起一个request新增或修改一条数据,当一次性修改几千条数据时,发起的requst请求过多容易导致429 Too Many Request的错误,单个新增修改索引就非常不适用。其实Nest有批量新增、修改索引的功能,批量删除也可以。现将项目中采用Elasticsearch的C#代码分享如下:
使用NEST客户端
1.连接
- public ElasticClient GetElasticClient(string esServer, string IndexName)
- {
- ElasticClient client = null;
- string[] server = esServer.Split(',');
- Uri[] nodes = new Uri[server.Length];
- for (int i = 0; i < server.Length;i++ )
- {
- nodes[i] = new Uri(server[i]);
- }
- var connectionPool = new StaticConnectionPool(nodes);
- var settings = new ConnectionSettings(
- connectionPool
- );
- settings.DefaultIndex(IndexName);
- client = new ElasticClient(settings);
- return client;
- }
2.添加索引
- var indexExist = client.IndexExists(IndexName);
- if (!indexExist.Exists)
- {
- //基本配置
- IIndexState indexState = new IndexState()
- {
- Settings = new IndexSettings()
- {
- NumberOfReplicas = 1,//副本数
- NumberOfShards = 6//分片数
- }
- };
- //ICreateIndexResponse response = client.CreateIndex(IndexName, p => p.Mappings(m => m.Map<ES_PUB_Stock>(mp => mp.AutoMap())));
- ICreateIndexResponse response = client.CreateIndex(IndexName, p => p
- .InitializeUsing(indexState)
- .Mappings(ms =>
- ms.Map<ES_PUB_Stock>(m =>
- m.AutoMap()
- .Properties(ps =>
- ps.Nested<ES_PUB_StockPrice>(n =>
- n.Name(c => c.stockPrice)
- )
- .Nested<ES_PUB_SpecValue>(q=>
- q.Name(c=>c.specValue))))));
- if (response.IsValid)
- {
- string msg = string.Format("索引创建" + IncrementIndexName + "成功!");
- this.WriteLog(msg);
- }
- else
- {
- string msg = string.Format("索引创建" + IncrementIndexName + "失败!");
- this.WriteLog(msg);
- Thread.CurrentThread.Abort();
- }
- }
这里创建索引设置6个分片数,并Mapping自定义的结构。
Mapping相关类型如下:
- <span style="font-size:14px;">using System;
- using System.Collections.Generic;
- using System.Linq;
- using System.Text;
- using System.Threading.Tasks;
- using Nest;
- namespace SearchMaker.Model.ES.PUB
- {
- [ElasticsearchType(IdProperty = "sid", Name = "ES_PUB_Stock")]
- public class ES_PUB_Stock
- {
- [Number(Index = NonStringIndexOption.NotAnalyzed, DocValues = false, IgnoreMalformed = true, Coerce = true)]
- public long? sid { get; set; }
- [String(Index = FieldIndexOption.NotAnalyzed)]
- public string model { get; set; }
- [String(Index = FieldIndexOption.NotAnalyzed)]
- public string brand { get; set; }
- [String(Index = FieldIndexOption.NotAnalyzed)]
- public string encapsulation { get; set; }
- [String(Index = FieldIndexOption.NotAnalyzed)]
- public string batchNo { get; set; }
- [Number(Index = NonStringIndexOption.NotAnalyzed, DocValues = false, IgnoreMalformed = true, Coerce = true)]
- public int invQty { get; set; }
- [Date(Format = "yyyy-MM-dd HH:mm:ss")]
- public string updateTime { get; set; }
- [Number(Index = NonStringIndexOption.NotAnalyzed, DocValues = false, IgnoreMalformed = true, Coerce = true)]
- public int upByMemberID { get; set; }
- [String(Index = FieldIndexOption.NotAnalyzed)]
- public string upByMemberName { get; set; }
- [String(Index = FieldIndexOption.NotAnalyzed)]
- public string guid { get; set; }
- [Number(Index = NonStringIndexOption.NotAnalyzed, DocValues = false, IgnoreMalformed = true, Coerce = true)]
- public decimal? price { get; set; }
- [Number(Index = NonStringIndexOption.NotAnalyzed, DocValues = false, IgnoreMalformed = true, Coerce = true)]
- public int? leastQty { get; set; }
- [Number(Index = NonStringIndexOption.NotAnalyzed, DocValues = false, IgnoreMalformed = true, Coerce = true)]
- public int limitTime { get; set; }
- [String(Index = FieldIndexOption.NotAnalyzed)]
- public string proImg { get; set; }
- [String(Index = FieldIndexOption.NotAnalyzed)]
- public string categoryNO { get; set; }
- [String(Index = FieldIndexOption.NotAnalyzed)]
- public string proRemark { get; set; }
- [Number(Index = NonStringIndexOption.NotAnalyzed, DocValues = false, IgnoreMalformed = true, Coerce = true)]
- public int type { get; set; }
- [Number(Index = NonStringIndexOption.NotAnalyzed, DocValues = false, IgnoreMalformed = true, Coerce = true)]
- public int sendToday { get; set; }
- [Number(Index = NonStringIndexOption.NotAnalyzed, DocValues = false, IgnoreMalformed = true, Coerce = true)]
- public int pickedToday { get; set; }
- [String(Index = FieldIndexOption.NotAnalyzed)]
- public string categoryName { get; set; }
- [Object(Path = "specValue")]
- public List<ES_PUB_SpecValue> specValue { get; set; }
- [Object(Path = "stockPrice")]
- public List<ES_PUB_StockPrice> stockPrice { get; set; }
- [String(Analyzer = "ik", Index = FieldIndexOption.Analyzed)]
- public string specsName { get; set; }
- [String(Analyzer = "ik", Index = FieldIndexOption.Analyzed)]
- public string keyword { get; set; }
- [String(Analyzer = "ik", Index = FieldIndexOption.Analyzed)]
- public string modelAS { get; set; }
- [Number(Index = NonStringIndexOption.NotAnalyzed, DocValues = false, IgnoreMalformed = true, Coerce = true)]
- public int modelLength { get; set; }
- [Number(Index = NonStringIndexOption.NotAnalyzed, DocValues = false, IgnoreMalformed = true, Coerce = true)]
- public decimal score { get; set; }
- }
- [ElasticsearchType(Name = "ES_PUB_StockPrice")]
- public class ES_PUB_StockPrice
- {
- [Number(Index = NonStringIndexOption.NotAnalyzed, DocValues = false, IgnoreMalformed = true, Coerce = true)]
- public int? minval { get; set; }
- [Number(Index = NonStringIndexOption.NotAnalyzed, DocValues = false, IgnoreMalformed = true, Coerce = true)]
- public decimal? price { get; set; }
- }
- [ElasticsearchType(Name = "ES_PUB_Specs")]
- public class ES_PUB_SpecValue
- {
- [String(Index = FieldIndexOption.NotAnalyzed)]
- public string spec { get; set; }
- [String(Index = FieldIndexOption.NotAnalyzed)]
- public string value { get; set; }
- }
- }
- </span>
这里中文分词采用IK分词
3.单个新增、修改索引
- <span style="font-size:14px;"> private int CreateIndex(ES_PUB_Stock param)
- {
- int indexCnt = 0;
- if (param.sid.GetValueOrDefault(0) > 0)
- {
- var response = client.Index<ES_PUB_Stock>(param, i => i.Index(IndexName).Type(IndexType));
- if (response.IsValid)
- {
- indexCnt++;
- }
- else
- {
- this.WriteWarmessage("创建" + IncrementIndexName + "索引,发生异常:SID:" + param.sid.ToString() + "," + response.DebugInformation, "");
- }
- }
- return indexCnt;
- }</span>
4.批量新增、修改索引
- <span style="font-size:14px;"><span style="white-space:pre"> </span>BulkDescriptor descriptor = new BulkDescriptor();</span><pre name="code" class="csharp"><span style="font-size:14px;"><span style="white-space:pre"> </span>descriptor.Index<ES_PUB_Stock>(op => op.Document(esStock));</span></pre><pre name="code" class="csharp"><span style="font-family: Arial, Helvetica, sans-serif;"><span style="font-size:14px;"><span style="white-space:pre"> </span> private int CreateIndex(BulkDescriptor param)</span></span><pre name="code" class="csharp"> {</pre><pre name="code" class="csharp"> int count = 0;
- var result = client.Bulk(param);
- if (!result.Errors)
- count = result.Items.Count();
- return count;
- }</pre>
- <pre></pre>
- <pre></pre>
- <p></p>
- <pre></pre>
- <pre></pre>
- <p></p>
- <p><span style="font-size:14px"><span style="white-space:pre"></span><strong>5.单个删除索引</strong></span></p>
- <pre name="code" class="csharp"><span style="font-size:14px;"> private int DeleteIndex(ES_PUB_Stock param)
- {
- int indexCnt = 0;
- if (param.sid.GetValueOrDefault(0) > 0)
- {
- var response = client.Delete<ES_PUB_Stock>(param.sid, i => i.Index(IndexName).Type(IndexType));
- if (response.IsValid)
- {
- indexCnt++;
- }
- }
- return indexCnt;
- }</span></pre><span style="font-size:14px"><br>
- </span>
- <p></p>
- <p><span style="font-size:14px">按上方所述,即可实现C#对Elasticsearch的操作。</span></p>
- <p><span style="font-size:14px">NEST对Elasticsearch的结构化查询,待下篇......<br>
- </span><br>
- </p>
- <pre></pre>
- <pre></pre>
- </pre>
ElasticSearch.net NEST批量创建修改删除索引完整示例的更多相关文章
- Linux创建修改删除用户和组
Linux 创建修改删除用户和组 介绍 在日常的维护过程中创建用户操作用的相对会多一些,但是在这个过程中涉及到的知识点就不单单就是useradd了,接下来就来详细了解账号管理的相关信息. 用户信息 先 ...
- MySQL查看、创建和删除索引的方法
本文实例讲述了MySQL查看.创建和删除索引的方法.分享给大家供大家参考.具体如下: 1.索引作用 在索引列上,除了上面提到的有序查找之外,数据库利用各种各样的快速定位技术,能够大大提高查询效率.特别 ...
- oracle11g创建修改删除表
oracle11g创建修改删除表 我的数据库名字: ORCL 密码:123456 1.模式 2.创建表 3.表约束 4.修改表 5.删除表 1.模式 set oracle_sid=OR ...
- MySQL进阶11--DDL数据库定义语言--库创建/修改/删除--表的创建/修改/删除/复制
/*进阶 11 DDL 数据库定义语言 库和表的管理 一:库的管理:创建/修改/删除 二:表的管理:创建/修改/删除 创建: CREATE DATABASE [IF NOT EXISTS] 库名; 修 ...
- Cordova之如何用命令行创建一个项目(完整示例)
原文:Cordova之如何用命令行创建一个项目(完整示例) 1. 创建cordova项目 (注意:当第一次创建或编译项目的时候,可能系统会自动下载一些东西,需要一些时间.) 在某个目录下创建cordo ...
- PostgreSQL 查询、创建、删除索引
--查询索引 select * from pg_indexes where tablename='tab1'; --创建索引 tab1_bill_code_index 为索引名, create ind ...
- oracle创建、删除索引等操作
1.创建索引 create index 索引名 on 表名(列名); 2.删除索引 drop index 索引名; 3.创建组合索引 create index 索引名 on 表名(列名1,,列名2); ...
- Linux基础学习-用户的创建修改删除
用户添加修改删除 1 useradd添加用户 添加一个新用户hehe,指定uid为3000,家目录为/home/haha [root@qdlinux ~]# useradd -u 3000 -d /h ...
- hibernate 批量增加 修改 删除
4.2 Hibernate的批量处理 Hibernate完全以面向对象的方式来操作数据库,当程序里以面向对象的方式操作持久化对象时,将被自动转换为对数据库的操作.例如调用Session的delete ...
随机推荐
- css常用属性总结:颜色和单位
在css代码编写中,估计颜色和单位是必不可少的,然而在css中关于颜色和单位值的写法有很多种写法,所以有必要把它弄清楚. 颜色 当初我在初学前端的时候,就会冒出一个疑问“我该如何设置网页颜色?”,一般 ...
- Redis 集群二
[Redis 集群二] 集群的客户端 Redis 集群现阶段的一个问题是客户端实现很少. 以下是一些我知道的实现: redis-rb-cluster 是我(@antirez)编写的 Ruby 实现, ...
- 03-使用html静态页面展示执行效果
使用工作流框架可以做什么事情?写代码呗,没那么简单.
- Educational Codeforces Round 54
这套题不难,但是场上数据水,导致有很多叉点 A. 因为是让求删掉一个后字典序最小,那么当a[i]>a[i+1]的时候,删掉a[i]一定最优!这个题有个叉点,当扫完一遍如果没有满足条件的,就删去最 ...
- 27-python 画图
绝佳教程:http://pyecharts.org/#/zh-cn/prepare?id=%E4%BD%BF%E7%94%A8%E4%B8%BB%E9%A2%98安装 pyecharts pip in ...
- (OK) 国内常用NTP服务器地址及IP
https://www.douban.com/note/171309770/ ntpdate s2c.time.edu.cn 北京邮电大学 ntpdate s2m.time.edu.cn ...
- Java 设计模式系列(十五)迭代器模式(Iterator)
Java 设计模式系列(十五)迭代器模式(Iterator) 迭代器模式又叫游标(Cursor)模式,是对象的行为模式.迭代子模式可以顺序地访问一个聚集中的元素而不必暴露聚集的内部表象(interna ...
- cpuinfo
在Linux系统中,如何详细了解CPU的信息呢? 当然是通过cat /proc/cpuinfo来检查了,但是比如几个物理CPU/几核/几线程,这些问题怎么确定呢? 经过查看,我的开发机器是1个物理CP ...
- IO多路复用原理
(1)IO multiplexing(2)用在什么地方?多路非阻塞式IO.(3)select和poll(4)外部阻塞式,内部非阻塞式自动轮询多路阻塞式IO IO多路复用原理:其实就是整个函数对外表现为 ...
- IE(IE6/IE7/IE8)支持HTML5标签
让IE(ie6/ie7/ie8)支持HTML5元素,我们需要在HTML头部添加以下JavaScript,这是一个简单的document.createElement声明,利用条件注释针对IE来调用这个j ...