.NetCore下ES查询驱动 PlainElastic .Net 升级官方驱动 Elasticsearch .Net
1.背景
由于历史原因,笔者所在的公司原有的ES查询驱动采用的是 PlainElastic.Net, 经过询问原来是之前PlainElastic.Net在园子里文档较多,上手比较容易,所以最初作者选用了该驱动,而发布也由于历史原因都部署在 windows 服务器上,基于 .NET Framework开发。
后来由于迁移 .NET CORE 平台的需要,对代码进行了升级,同时部署平台也迁移至 CentOS7 服务器,升级过程比较顺利,由于没有使用特殊API,所以几乎没有对业务代码做更多的修改,同时测试阶段由于没有多余的机器,仍然放在了原有Windows服务器上做的测试,一切都没有问题,完美上线。
事发突然,某天接到运维部门反馈,部署查询服务的机器突然出现 TCP 连接数超高的问题,同时这台机器其他的TCP服务也无法建立新的连接,但已经建立的连接不受影响。联想到 ElasticSearch 查询服务是基于HTTP 请求的,脑子里马上联想到 .NET Core 下 HttpClient 如果每次访问都创建新实例,则会每次都建立新的TCP连接,而 Linux 对已释放端口回收的时间窗口,会导致在高并发情况下,客户端机器端口占用持续增加,同时被调用服务端连接数也会持续增加。
基于此猜测,立马去扒了一下PlainElastic.Net源代码:
源码地址:https://github.com/Yegoroff/PlainElastic.Net/blob/master/src/PlainElastic.Net/Connection/ElasticConnection.cs
果然如猜测的那样,每次都创建了新的 HttpWebRequest 实例,看了作者的最后维护时间也已经是3年前了,可能是后来官方驱动日趋完善,作者也便停止了维护。
既然如此,那么让我们看下官方最新驱动源码是否如我们想象,是基于HttpClientFactory来解决这个问题的?
上述代码看来,官方驱动并非是采用微软官方建议的 HttpClientFactory ,而是官方底层自己维护的一个线程安全的字典来管理 HttpClient 实例池,虽是自己实现,但效果一样:相同地址的请求,是链接复用的,这样就解决不断开启 TCP 连接的问题。
问题找到,立马进行驱动升级:
2.驱动升级
说明: ElasticSearch.Net官方驱动地址:https://www.elastic.co/guide/en/elasticsearch/client/net-api/6.x/index.html
官方驱动分为 Low Level Client 和 NEST(Heigh Level Client),其中Low Level Client 仅仅做了最基本的封装,几乎等价于HTTP原生调用,带来了极大的灵活性的同时,也带来使用成本,而对于开发人员来说使用 NEST 提供的更加高级的API,可以更加快速的进行开发工作,也同时可以利用到 .NET 所提供的各种语法糖,比如 => 表达式。
话不多说,看示例代码:
实例创建
public ElasticService()
{
var uris = new Uri[] { new Uri("http://172.17.78.111:9200"), new Uri("http://172.17.78.112:9200") }; //支持多个节点
var connectionPool = new SniffingConnectionPool(uris);
var settings = new ConnectionSettings(connectionPool).DefaultIndex("testindex");//注意index不可以大写
settings.BasicAuthentication("", ""); //设置账号密码,没有可以跳过
this._client = new ElasticClient(settings);
}
插入待测试数据
public class People
{
public Guid Id { get; set; }
public string Name { get; set; }
public int Age { get; set; }
public DateTime Birthday { get; set; }
public bool Gender { get; set; }
public string Address { get; set; }
public DateTime CreateTime { get; set; } = DateTime.Now;
}
//批量插入
public async Task<IBulkResponse> AddPeopleAsync(People[] peoples)
{
var descriptor = new BulkDescriptor();
foreach (var p in peoples)
{
var response = await _client.IndexDocumentAsync(p);
descriptor.Index<People>(op => op.Document(p));
}
return await _client.BulkAsync(descriptor);//批量插入
}
多查询条件拼接
public QueryContainer BuildQueryContainer(SearchCondition condition)
{
var queryCombin = new List<Func<QueryContainerDescriptor<People>, QueryContainer>>();
if (!string.IsNullOrEmpty(condition.Name))
queryCombin.Add(mt => mt.Match(m => m.Field(t => t.Name).Query(condition.Name))); //字符串匹配
if (condition.Age.HasValue)
queryCombin.Add(mt => mt.Range(m => m.Field(t => t.Address).GreaterThanOrEquals(condition.Age))); //数值区间匹配
if (!string.IsNullOrEmpty(condition.Address))
queryCombin.Add(mt => mt.MatchPhrase(m => m.Field(t => t.Address).Query(condition.Address))); //短语匹配
if (!condition.Gender.HasValue)
queryCombin.Add(mt => mt.Term(m => m.Field(t => t.Gender).Value(condition.Gender)));//精确匹配
return Query<People>.Bool(b => b
.Must(queryCombin)
.Filter(f => f
.DateRange(dr => dr.Field(t => t.CreateTime) //时间范围匹配
.GreaterThanOrEquals(DateMath.Anchored(condition.BeginCreateTime.ToString("yyyy-MM-ddTHH:mm:ss")))
.LessThanOrEquals(DateMath.Anchored(condition.EndCreateTime.ToString("yyyy-MM-ddTHH:mm:ss"))))));
}
提示:Match 和 MatchPhrase 的区别,例如对于"长宁区"
- Match 会将"长宁区"进行分词匹配,例如只要包含"区"的数据(比如静安区),也会被查询命中
- MatchPhrase 则可以理解为短语匹配,只有当数据包含“长宁区”完整短语的数据,才会被查询命中
增加分页查询接口
public async Task<PagedResult<People[]>> QueryPeopleAsync(SearchCondition condition, int pageIndex, int pageSize)
{
var query = this.BuildQueryContainer(condition);
var response = await this._client.SearchAsync<People>(s => s
.Index("testindex")
.From(pageIndex * pageSize)
.Size(pageSize)
.Query(q => query)
.Sort(st => st.Descending(d => d.CreateTime)));
if (response.ApiCall.Success)
{
return new PagedResult<People[]>
{
PageIndex = pageIndex,
PageSize = pageSize,
Total = response.Total,
ReturnObj = response.Hits.Select(s => s.Source).ToArray()
};
}
return new PagedResult<People[]> { IsSuccess = false };
}
编写单元测试
[TestMethod]
public async Task QueryPeopleTest()
{
var condition = new SearchCondition
{
Address="长宁区",
BeginCreateTime = DateTime.Now.AddDays(-1),
EndCreateTime = DateTime.Now
};
var result = await this._elasticService.QueryPeopleAsync(condition, 0, 3);
Assert.IsTrue(result.IsSuccess);
}
利用 Wireshark 抓包分析HTTP调用细节
将抓包的数据转换为HTTP流,查看请求细节:
提示:通过wireshark抓包是排查错误很有效的方式,有时候通过查询文档进行分析,还不如先抓包查看请求数据来得直接,同时可以将抓包数据放在Kabana所提供的 Dev Tools中验证自己的想法。
利用 Kibana 提供的 Dev Tools 验证/测试 查询条件
3.总结
从.NET Framework 平台转向 .Net Core 平台,其实不仅仅是开发框架的升级,或者从 Windows 转向 Linux 的迁移,而是需要我们有更多的开源思维,即:
- 由于会使用到更多的三方组件,开发人员需要更多关注社区的变化
- 开源代码,意味着开发人员可以并且需要更多关注源代码的底层实现
本文示例代码地址:https://github.com/xBoo/articles/tree/master/src/ElasticSearchNetDemo
.NetCore下ES查询驱动 PlainElastic .Net 升级官方驱动 Elasticsearch .Net的更多相关文章
- ubuntu下升级网卡驱动
ubuntu下升级网卡驱动 无线局域网环境下,有个笔记本儿的无线经常断,而其它的终端都好好的,唯独它不行.所以想到检查和更新下无线网卡的驱动看看.以下是操作流程,记录一下. 阅读说明:##为标签, / ...
- DELL R410升级网卡驱动
官方链接http://zh-cn.broadcom.com/support/ethernet_nic/netxtremeii.php(官方驱动的名字偶尔会改) 注意确保服务器的kernel-dev ...
- 在.net下打造mongoDb基于官方驱动最新版本
还是一如既往先把结构图放出来,上上个版本添加了redis的缓存,但是不满足我的需求,因为公司有项目要求是分布式所以呢,这里我就增加了mongoDb进行缓存分布式,好了先看结构图. 总的来说比较蛋疼,因 ...
- ElasticSearch 学习记录之ES查询添加排序字段和使用missing或existing字段查询
ES添加排序 在默认的情况下,ES 是根据文档的得分score来进行文档额排序的.但是自己可以根据自己的针对一些字段进行排序.就像下面的查询脚本一样.下面的这个查询是根据productid这个值进行排 ...
- ES查询之刨根问底
昨天有一个需求,就是想要根据某个网关url做过滤,获取其下面所有的上下文nginx日志:如果直接"query":"https://XXX/YYY/ZZZ"发现有 ...
- ES查询区分大小写
ES查询区分大小写 ES查询在默认的情况下是不区分大小写的,在5.0版本之后将string类型拆分成两种新的数据类型,text用于全文搜索(模糊搜索),keyword用于关键字搜索(精确搜索). 注意 ...
- Django学习——Django测试环境搭建、单表查询关键字、神奇的双下划线查询(范围查询)、图书管理系统表设计、外键字段操作、跨表查询理论、基于对象的跨表查询、基于双下划线的跨表查询
Django测试环境搭建 ps: 1.pycharm连接数据库都需要提前下载对应的驱动 2.自带的sqlite3对日期格式数据不敏感 如果后续业务需要使用日期辅助筛选数据那么不推荐使用sqlite3 ...
- 出错场景是升级oracle驱动,将版本从ojdbc14升级到ojdbc6,hibernate执行原生态sql语句会报如下错误
出错场景是升级oracle驱动,将版本从ojdbc14升级到ojdbc6,hibernate执行原生态sql语句会报如下错误:org.hibernate.MappingException: No Di ...
- Python-MongoDB的驱动安装、升级
安装pip,并通过此来安装pymongo–Python mongodb驱动 1.下载pip安装包,下载地址:http://pypi.python.org/packages/source/p/pip/p ...
随机推荐
- 获取其他进程中StatusBar的文本
(*// 标题:获取其他进程中StatusBar的文本 说明:Window2000+Delphi6调试通过 设计:Zswang 支持:wjhu111@21cn.com 日期:2005-02-22 // ...
- [書訊]《.NET 依賴注入》 (2014-12-08 更新)
书 名:.NET 依赖注入 页 数:235 格 式:PDF.EPUB.MOBI难易度:中阶至进阶出版日期:2014 年 12 月 8 日ISBN:9789574320684 简介 本书内容是关于 .N ...
- 使用sikuli软件进行自动化编程
因为工作上的需要,某个信息系统不健全,因此仅仅需要一个一个的点击确认,客户端是网页版本的,抓包太复杂了,如何快速的能够自动化操作? 想到了之前学习python的时候,发现了一个基于java的图片编程软 ...
- Ubuntu14.04 静态编译安装Qt4.8.6
./configure -static -nomake demos -nomake examples -nomake tools -no-exceptions -prefix /usr/local/Q ...
- SpringBoot整合Redis注意的一些问题
1:ERR value is not an integer or out of range 1-1:背景 使用redisTemplate.opsForValue().increment(key, de ...
- SpringBoot从入门到精通一(idea优雅搭建SpringBoot项目)
前言 在没有SpringBoot之前,我们搭建的是SSM(SpingMVC+Spring+Mybatis)项目,在搭建SSM项目的时候,我们要经过一系列的繁琐配置,例如:application,web ...
- Hexo+NexT(零):最全Hexo+Next搭建博客教程
快速.简洁且高效的博客框架 有位大神说,喜欢写博客的人的人,折腾博客会经历三个阶段.找到一个免费空间,搭建一个博客,很欣喜,很有成就感,此为一阶段:受限免费空间各种限制,自己买空间和域名,实现对博客的 ...
- vuex分模块
Vuex速学篇:(4)把我们的业务按模块分类 原创 2016年11月29日 10:45:38 8504 文档:http://vuex.vuejs.org/zh-cn/modules.html 这个mo ...
- javascript函数详解
//函数的两种声明方式 //在同一个<script>标签中,函数的调用和声明位置可以没有先后的顺序,因为在同一个标签中,都是等加载到内存中,然后在运行 //但是如果是在两个script标枪 ...
- PATB 1038. 统计同成绩学生(20)
https://www.patest.cn/contests/pat-b-practise/1038 #include <cstdio> int cnt[110]; int temp[10 ...