2024全球数字经济大会：大模型时代下DataOps驱动企业数智化升级

7月5日，以“开源生态筑基础，数字经济铸未来”为主题的2024全球数字经济大会在北京成功举办，来自全国各地的专家学者、企业代表、数据库行业从业人士及众多开源开发者，共聚一堂，共同探讨开源数据库技术的发展现状与未来趋势，助力构建开放、共赢的数据库生态体系，为开源生态的繁荣发展添砖加瓦。

在会上，白鲸开源CEO 郭炜于「开放原子开源数据库生态论坛」上发分享了题为 《大模型时代下DataOps驱动企业数智化升级》 的演讲，并在「开源与闭源，在行业应用中的发展潜能」的圆桌对话中分享了自己的开源心得体会与经验。

他表示，数据虽然丰富但高质量、互通的数据却稀缺，这一状况在大模型时代愈发突出。全球范围内，数据库和大模型进入井喷时代，DataOps可以解决百模x万库互联问题。他探讨了DataOps的全球趋势，并以SeaTunnel和DolphinSchedule为例，详细介绍了中国的开源DataOps项目如何在全球范围内快速增长，分析DataOps如何驱动企业数智化升级。最后，他结合中信建投的案例，分享了当前数智化升级中存在的挑战，以及通过实时DataOps项目所获得的收益。

DataOps全球趋势

6月21日，OpenAI收购搜索和数据库分析初创公司Rockset，完成交易后，后者估值数亿美元，成为OpenAI最大的收购之一。我们从中可以看到，随着数据消费和AI数据消费的增长，企业面临着数据供给的挑战。这世界不缺乏数据，而是缺乏高质量、相互打通的数据。

在多云环境下，数据源和引擎的复杂性日益增加，这要求企业采用更为简单、高效、准确的数据供给方式。当数据库和大模型进入井喷时代，DataOps应运而生，旨在解决数据集成和数据质量的问题。

中国的开源DataOps项目

中国在开源DataOps项目方面取得了显著成就。以Apache SeaTunnel为例，这是一个新一代开源实时多源数据集成工具，支持上百种源数据库和目标数据库的数据同步与集成。SeaTunnel的性能在多个方面超越了现有解决方案，如批量数据全量、增量集成以及实时数据集成等。

Apache DolphinScheduler是一个开源大数据工作流调度平台，可以说是“大数据的操作系统”，它解决了大数据工作流调度的痛点，如多个任务单元、存在时间顺序、存在依赖关系等问题，满足了企业级场景面临的执行频率高、数据量任务量大，以及对云原生的要求。

Apache SeaTunnel和Apache DolphinScheduler已广泛应用于金融、互联网、通信、电商等行业，全球拥有6000+企业用户。

金融行业DataOps驱动企业数智化升级案例

金融行业是DataOps应用的典型领域。例如，某证券公司通过使用白鲸开源DataOps平台WhaleStudio，实现了数据一体化编辑、数据集成、数据管控等功能，大幅提高了数据研发效率。此外，通过DataOps平台，该公司在反洗钱、实时盈亏计算、监管报送等核心应用中实现了自动化和实时性，有效提升了业务流程的效率和准确性。

根据全球最佳实践发布WhaleStudio结合了开源版Apache DolphinScheduler的所有功能，并增加了独有的商业功能+信创适配/创新，帮助企业解决内部多数据源、多数据系统复杂的数据集成，持续开发、持续部署、数据捕获、数据打通等一些列问题，在金融安全和合规性上有充分的保证，已经被多个头部券商、保险、银行、海外互联网客户使用。

正如白鲸开源的Slogan——我们不生产/储存数据，我们是大模型时代下的中石化，DataOps作为企业数智化升级的重要驱动力，正帮助企业应对数据供给的挑战，提高数据处理的效率和准确性，通过开源项目和商业解决方案的结合，WhaleStudio为企业提供了一条通往智能化、自动化数据处理的清晰路径。