火山引擎DataLeap的Catalog系统搜索实践（一）：背景与功能需求

火山引擎DataLeap的Data Catalog系统通过汇总和组织各种元数据，解决了数据生产者梳理数据、数据消费者找数和理解数的业务场景，其中搜索是Data Catalog的主要功能之一。本文详细介绍了火山引擎DataLeap的Catalog系统搜索实践：功能的设计与实现。

 

Data Catalog能够帮助大公司更好地梳理和管理自己的资产，是Data-drvien公司的重要平台。一个通用的Data Catalog平台通常包含元数据管理，搜索，血缘，标签，术语等功能。其中，搜索是Data Catalog的入口功能，承担着让用户“找到数”的主要能力。在火山引擎DataLeap的Data Catalog系统中，每天有70%以上的用户会使用搜索功能。

 

业界主要的Augmented Data Catalog需要支持Google一样的搜索体验来搜索数据资产，以满足不同角色的用户的找数需求。火山引擎DataLeap也一样，搜索需要支持的主要功能包括：

• 支持多种不同类型资产的搜索。目前系统中已经包含15+种数据源，可以分为几大类：数仓表比如Hive，看板，数据集，实时表，Topic，对象存储，分布式文件系统如LasFS等。带来的主要挑战是不同类型的资产，搜索的字段和权重有明显差异。
• 支持个性化。目前系统的用户遍布整个公司，角色涵盖数据工程师，数据分析师，产品经理，项目经理，销售和数据科学家等等，需要完成的数据工作任务差异也比较大，比如数据开发，数据治理，BI，数据分析和机器学习等等，因此个性化对Data Catalog的搜索尤为重要。
• 支持各种业务元数据的高级筛选。数据资产除了名称/别名/描述等字段，通常还会有一些业务元数据，如项目/业务域/负责人/负责人部门/标签/业务术语/生命周期状态等。通过支持指定业务元数据进行筛选，帮助用户减小搜索范围，更快搜到对应资产。
• 支持秒级的实时性。这里的实时性是指元数据的变更需要在秒级别反映到Data Catalog的搜索里，例如新建表需要在操作完成后1～2秒内即能搜到相应的表，删除表需要不再显示在搜索结果中。原因是用户新建或更新资产后通常会到我们的系统上查看相应的变更是否生效。用户手动在浏览器操作搜索的时间通常是秒级，超过这个时间会给用户带来困惑，降低整个Data Catalog的使用体验。
• 支持Google类似的搜索推荐(Type as you search)功能。搜索补全功能是搜索的一个导航功能，可以在用户键入内容时提示他们可以输入的相关内容，从而提高搜索精度。这个功能对响应速度有一定的要求，同时由于数据资产的特殊性，前缀相同的资产数量较多，因此也需要根据资产的热度进行一定的排序。
• 支持多语言。数据资产的名称/描述/标签/术语等需要支持多种语言，搜索的输入也可能是不同的语言，最常用的比如英文和中文。不同语言的分词，专有名词字典，文本特征等都会带来一些挑战。

 

为了满足上述需求，火山引擎DataLeap的Catalog系统采用了个性化综合搜索的方案。区别于联合搜索（federated search），用户需要指定搜索的具体资产类型或在搜索结果页对不同的资产分栏显示，综合搜索（unified search）允许用户在一个搜索框中进行搜索输入而无需指定搜索的资产类型。

同时，搜索服务会在同一个搜索结果页返回不同类型的相关资产，并根据匹配程度和用户的个性化数据进行混合排序。优势是能给不同的用户针对不同资产的搜索需求提供统一的搜索体验，同时提供了用户跨类型圈定资产的能力。另外，综合搜索使得火山引擎DataLeap的Catalog系统可以在页面上进行标准化透出，从而可以从技术上进行搜索标准化，达到新数据源接入即可搜索。