INFINI Labs 产品更新 | Gateway 支持基于 Kafka 的复制能力，发布 Helm Charts 部署方式

INFINI Labs 产品又更新啦~。本次更新概要如下：Easysearch 新增了索引字段相关统计 API，优化了 source_reuse 提升压缩效率；Gateway 新增诸多新特性，如：支持基于 Kafka 的复制能力，添加可插拔的分布式锁实现，新增 CPU 资源限制等功能；Console 本次主要优化了数据迁移功能，迁移任务详情页新增了若干指标图和日志查看等功能。

欢迎大家下载使用和反馈。

INFINI Helm Charts v0.1.0

INFINI Helm Charts 是一组 Kubernetes 部署包管理工具。基于 Helm Charts，我们将 INFINI Labs 旗下相关产品预先配置好程序资源包，大大简化了部署流程。Github 仓库地址：https://github.com/infinilabs/helm-charts。

Helm Charts 本次更新如下：

Features

添加 Console Chart
添加 Easysearch Chart，支持单节点以及多节点（节点角色可配置）部署

部署视频演示：

博客文章：

如何通过 Helm Chart 部署 Easysearch

INFINI Easysearch v1.6.0

INFINI Easysearch 是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的 Apache Lucene。Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本，并继续完善和支持更多的企业级功能。

Easysearch 本次更新如下：

Features

新增 _field_usage_stats API，统计索引每个字段的访问次数
新增 _disk_usage API，可以分析指定索引每个字段的磁盘占用大小
增加 flattened 类型，将 JSON 对象作为字符串处理，可以减少嵌套 JSON 型的文档的大小

Improvements

source_reuse 增加对 _source 中数字类型的值进行复用压缩，可进一步降低 _source 磁盘占用
改进 source_reuse 筛选字段的逻辑

INFINI Gateway v1.18.0

INFINI Gateway 是一个面向搜索场景的高性能数据网关，所有请求都经过网关处理后再转发到后端的搜索业务集群。基于 INFINI Gateway 可以实现索引级别的限速限流、常见查询的缓存加速、查询请求的审计、查询结果的动态修改等等。

Gateway 本次更新如下：

Breaking changes

彻底移除了 request_body_truncate 和 response_body_truncate 过滤器

Features

支持基于 Kafka 的复制能力
在请求上下文中添加 _util.generate_uuid
在请求上下文中添加 _util.increment_id.BUCKET_NAME
在 Pipeline 配置中添加 singleton，防止多个 Pipeline 同时运行
添加可插拔的分布式锁实现
添加通用应用程序的 preference 配置
泛化队列抽象，重构磁盘队列，完善 Kafka 实现
添加 merge_to_bulk 处理器，废弃 indexing_merge 处理器
添加 flow_replay 处理器，废弃 flow_runner 处理器
为复制场景添加 replication_correlation
添加 hash_mod 过滤器
在 bulk_response_process 过滤器中添加新参数
添加 request_reshuffle 过滤器
添加资源限制，允许设置最大 CPU 数或绑定亲和性
支持模板中的嵌套变量
添加 rewrite_to_bulk 过滤器

Bug fix

修复了 Pipeline 中重试延迟未生效的问题
修复了模板中不支持数字的问题
修复了队列选择器通过标签的问题，如果指定了多个标签，它们都应该一起匹配

Improvements

将所有模块名称转换为小写
在启动期间预取 Elasticsearch 元数据
添加应用程序范围的关闭信号
重构队列 API，支持 Kafka 管理
在 Badger 模块中添加 enabled
允许使用优先级注册模块/插件
统一队列的使用和初始化
优化 bulk_reshuffle 过滤器的性能，添加响应头 X-Bulk-Reshuffled
支持在 queue 过滤器中使用变量，允许输出最后生成的消息偏移量

INFINI Console v1.8.0

INFINI Console 是一款非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。通过对流行的搜索引擎基础设施进行跨版本、多集群的集中纳管，企业可以快速方便的统一管理企业内部的不同版本的多套搜索集群。

Console 在线体验： http://demo.infini.cloud (用户名/密码：readonly/readonly)。

Console 本次更新如下：

Features

数据迁移任务支持自定义名称和添加标签
数据迁移任务详情页新增若干指标
数据迁移任务详情页新增查看日志

Improvements

数据迁移 UI 优化
优化监控报表、数据看板、数据探索的时间控件 UI

期待反馈

欢迎下载体验使用，如果您在使用过程中遇到如何疑问或者问题，欢迎前往 INFINI Labs Github（https://github.com/infinilabs）中的对应项目中提交 Feature Request 或提交 Bug。

INFINI Gateway： https://github.com/infinilabs/gateway/issues
INFINI Console： https://github.com/infinilabs/console/issues
下载地址： https://www.infinilabs.com/download

您还可以通过邮件联系我们：hello@infini.ltd

或者拨打我们的热线电话：(+86) 400-139-9200

欢迎加入 Discord 聊天室：https://discord.com/invite/4tKTMkkvVX

也欢迎大家微信扫码添加小助手（INFINI-Labs），加入用户群一起讨论交流。

关于极限科技（INFINI Labs）

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：https://www.infinilabs.com