构筑开放式大数据架构，Apache Kyuubi和NDH荣登开源OSCAR

【点击了解更多网易大数据技术】

在9月16日召开的“2022 OSCAR开源产业大会”上，中国信息通信研究院发布了一系列开源研究成果和开源表彰，网易数帆发起的开源项目Apache Kyuubi荣获“OSCAR尖峰开源项目及开源社区”，有数大数据基础平台NDH荣获“OSCAR尖峰开源技术创新（二次开发）”。

此外，网易数帆发起的云原生开源项目Slime和Curve分别获得了“可信开源社区共同体（TWOS）”和“TWOS 银河计划成员”的授牌。

“OSCAR开源尖峰案例”评选旨在为开源产业发展立标杆、树典范，已开展多年，可谓中国开源领域的奥斯卡，可信开源社区则致力于推动开源社区发展和落地应用。网易数帆获得权威评选的认可，再次证明了公司构建的开放式大数据架构的先进性，及践行“架构开放，内核开源”理念的决心。

Apache Kyuubi：社区成熟，毕业可期

Kyuubi作为一个封装SparkSQL的服务诞生，将多租户、高可用和分布式等企业级特性引入开源大数据的世界，因其实用性受到了社区用户的关注。2021年6月，Kyuubi项目进入Apache软件基金会孵化，并在Apache Way的指引下实现了更快的发展速度。依托本身的架构设计，Apache Kyuubi快速迭代，在Spark之外完成了Flink 、Trino（Presto）、Hive 等主流计算框架的支持，成为一个面向Serverless SQL on Lakehouse的服务，支持更加丰富的大数据场景应用，并被网易、阿里云、腾讯云、小米、华泰证券、广发证券、丁香园、eBay、T3出行、携程、爱奇艺、哔哩哔哩、womply、Houzz、kt NexR等国内外近百家企业采用。

网易数帆的开放式大数据架构中，Apache Kyuubi被视为统一SQL网关，用以屏蔽整个体系中不同存储、计算/查询引擎的差异，为数据中台提供支撑。

Apache Kyuubi的演进得益于社区的成熟，经过不到15个月的孵化，社区已经拥有93位代码贡献者，其中来自网易外部的贡献者占比超过了80%，充分体现了社区驱动的力量。最近，Apache Kyuubi被中国开源软件推进联盟主编的《2022中国开源发展蓝皮书》和InfoQ研究院编撰的《中国开源发展研究分析2022》列为中国开源大数据基础设施的代表。而今，在整个社区坚持不懈的努力下，Kyuubi从Apache基金会毕业可期，成为基金会顶级项目的目标不再遥远。

对于Apache Kyuubi的项目表现和社区发展态势，OSCAR评委专家均给予高度认可。

NDH：我左Spark，右Impala，Kyuubi在上面

作为一款企业级大数据基础平台，网易数帆有数大数据基础平台NDH的核心特点，一是兼容并增强Hadoop体系组件，二是完全自主掌握核心代码，这对于企业从原有大数据平台平滑迁移、满足自主可控要求来说都很重要。更为重要的是，有数大数据基础平台NDH基于最新开源技术打造，在业务支撑能力及性能上有更加出色的表现。

有数大数据基础平台NDH内置多种存储计算引擎，并在Hadoop、Spark、Impala等多个核心组件做了功能及性能增强（例如在Impala上实现虚拟数仓特性），还新增了智能运维和任务治理能力，支持企业级安全管控。这些能力的增强正是大规模生产落地的结晶，获得了评委专家的肯定。

有数大数据基础平台NDH原本作为网易数帆数据中台的底座提供，因市场需求，于今年6月作为单独的产品发布，此举也曾引发业界热议——网易数帆为何进军这门“不好的生意”。然而，这款产品在Impala和Kyuubi方面的积累和优势让从业者印象深刻。目前，有数大数据基础平台NDH已应用于银行、证券、流通、制造等行业三百多家企业客户生产环境。

Slime和Curve：持续完善开源云原生基础设施

Apache Kyuubi和有数大数据基础平台NDH是网易数帆开放式大数据架构的开源项目和商业产品代表，Slime和Curve则是网易数帆开源云原生基础设施的两大支柱，分别填补了服务网格智能管理和国产高性能云原生存储的空白。因其生态定位、架构设计的独特性以及社区发展前景，Slime社区和Curve社区分别受邀成为可信开源社区共同体（TWOS）成员和TWOS 银河计划成员，针对项目质量、社区发展、商业模式等话题加强开源社区之间的交流协作，不仅完善开源云原生基础设施生态，也助推国内开源产业健康、快速发展。

未来，网易数帆将继续秉承开放式思维拥抱开源，以扎实的产品实力和先进的技术实力为后盾，团结社区合作伙伴，持续为开源生态建设贡献力量。