数栈 × AWS EMR On EC2 适配实践：打造出海企业可落地的云上数据中台解决方案

随着袋鼠云全面推进数栈产品的出海战略，我们在服务多个头部出海客户的过程中发现，真正做好“海外可用”的数据平台，关键不仅在于部署全球化，还在于深入适配 AWS 的核心计算平台EMR，以满足多变业务场景下对性能、稳定性、安全性与成本控制的综合要求。

相比传统的开源组件拼接，基于 AWS EMR 构建的大数据体系要求平台能够在存储接入、计算引擎调度、权限控制、元数据管理等多个层面与云原生能力高效协同。本文将围绕这些关键模块，系统介绍数栈产品在适配 AWS EMR 过程中的架构演进、技术选型与客户落地实践，为希望构建稳定、高性能的全球化数据中台的出海企业提供参考与借鉴。

出海不是“部署海外”，而是“能力出海”

出海客户的技术基础设施往往天然构建在 AWS 云上，数据安全要求更高，云原生生态偏好显著。因此，传统以国内云环境为中心设计的大数据产品，若无法高质量对接 AWS，就会面临：

• 组件不兼容 / 性能不达标；

• 作业不稳定 / 计算任务失败；

• 安全权限机制缺失 / 不满足监管要求；

• 运维复杂 / 无法有效交付和持续迭代。

因此，数栈的目标不只是“部署在 AWS”，而是构建一套能深度融合 AWS 能力的数据中台，在全球范围内提供稳定、高性能、具备安全边界的数智底座。

数栈 × AWS EMR深度适配方案：架构维度解构

我们从计算、存储、元数据、权限、安全等核心子系统出发，逐一完成对 AWS 云生态的深度适配：

以下是数栈基于不同部署模式下的对接访问AWS-EMR的认证、调度、元数据访问链路图。

存储：全面打通 S3 接入与性能优化

数栈支持两种主流 S3 访问方式：数栈的各个执行引擎可以通过S3AFileSystem和EMRFIleSystem来访问S3对象存储系统，对于S3的访问可以通过AK&SK和IAM roles的方式，而AK&SK分为了参数传递和环境变量的方式进行配置。

通过S3AFileSystem和EMRFIleSystem来访问S3

S3AFileSystem和EMRFIleSystem功能性对比

在适配中我们推荐并深度集成 EMRFS，确保：

• 实时写入数据可立即读取，满足 Flink/Spark 等流式处理任务对一致性的要求；

• 可与 Glue / Lake Formation 联动，统一实现权限控制与审计追踪；

• 具备更高的读取性能与更少的延迟。

EMRFS 是当前 AWS 场景下构建强一致性、高性能数据湖的核心基础。

计算：对接 EMR on EC2，实现弹性调度与自动伸缩

数栈核心调度组件支持 Spark / Flink 等引擎运行在 EMR on EC2 模式下。通过集成 AWS SDK 及 EMR API，完成：

• 应用提交与运行状态反馈；

• 任务作业日志统一接入；

• Savepoint / Checkpoint / Sink 到 S3 等关键链路打通；

• 与 Instance Profile 的 IAM 角色授权集成。

这一机制实现了按需资源弹性拉起和任务运行环境标准化，客户无需管理底层基础资源，即可在 AWS EMR上运行稳定的数据开发与处理任务。

元数据：统一对接 AWS Glue Catalog

Glue Catalog 是 AWS 提供的 serverless 元数据服务，兼容 Hive Metastore，可与 EMR、Athena、Redshift Spectrum 等服务无缝协作。

以下是一个通过HiveServer2与HMS，S3交互的链路图。

元数据方面可以通过HiveMetastore将元数据存储在RDB数据库中进行元数据管理，也可以通过GlueDataCatalog的方式将元数据存储在glue中来兼容其他的异构数据源。

存储方面可以通过EMRFileSystem来访问S3或者FIleSystem来直接访问HDFS的数据

数栈支持以 Glue Catalog 作为元数据底座，实现：

• 表结构、字段类型、分区路径等元信息的统一注册与维护；

• 跨引擎共享元数据，避免冗余定义；

• Crawler 支持自动 Schema 抓取与更新；

• Schema 版本管理与变更溯源。

通过接入 Glue，数栈可将离散数据资产统一管理为结构化目录，并作为上层开发、分析、权限控制的统一参考基础。

权限安全：对接 IAM Role再结合Lake Formation，构建完整的数据访问控制体系

安全访问控制在跨境场景中极为重要。数栈通过多层集成，构建从底层存储到上层数据资产的全链路权限体系：

• 基于 IAM Role 实现计算资源与 S3 数据的访问授权；

• 结合 Lake Formation 实现表级、列级、操作级权限策略配置；

• 支持权限申请、变更审批及访问审计（对接 AWS CloudTrail）；

• 与数栈平台联动，实现开发、执行过程中的动态权限隔离。

这一机制确保了数据处理平台在出海场景中的合规性、安全性与审计能力。

下图为IAM Role进行授权的部分操作截图：

典型客户落地实践：某货币交易所客户如何用数栈在 AWS EMR On EC2上构建数据中台？

在某货币交易所的“换云”实践中，客户原先的数据平台已逐渐无法满足其在全球化扩展背景下对系统稳定性、资源弹性和数据安全的更高要求。为应对海外合规压力、提升技术自主可控能力，客户决定将平台核心架构全面迁移至 AWS，并借助袋鼠云数栈产品体系，重构其全球化数据中台能力。整个项目的核心目标在于，通过深度适配 AWS 云原生生态，打造一个具备统一开发、弹性调度、安全可控与资产治理能力的一站式数据平台。

在平台重构过程中，数栈对接 AWS EMR，实现了 Spark 和 Flink 等任务的弹性调度与自动伸缩，显著提升了资源利用效率与任务稳定性；通过 Glue Catalog 打通了 S3 数据湖的元数据管理体系，构建统一的注册、查询与血缘追踪能力；权限体系方面则全面集成 AWS IAM 与 Lake Formation，实现了从库表到列级的多层访问控制，满足金融级合规要求；同时，针对关系型分析数据库 Doris，项目团队配置了完整的安全能力链路，包括用户认证、细粒度权限配置、数据加密传输与行为审计，从而构建起端到端的数据安全闭环。

在数据开发与应用层，数栈提供的拖拽式任务编排工具大幅提升了开发效率，使业务人员可视化构建离线与实时任务流水线；统一的任务监控与告警机制也显著降低了平台运维复杂度。最终，客户实现了在 AWS 上稳定运行的数据开发与治理体系，计算成本下降约 40%，开发效率提升超过 60%，运维人力减少 70%，核心数据表的质量规则实现全覆盖。该项目不仅帮助客户完成了技术平台的稳定切换，更奠定了其面向国际市场的数字化能力底座，成为数栈深度适配 AWS 场景、支持出海客户落地数据中台的代表性实践之一。

未来展望：构建全球数据平台适配能力

数栈将持续拓展对多云平台的适配能力，围绕全球企业对数据资产安全、资源弹性、治理合规的多元化需求，构建云原生、高性能、强治理能力的统一数据中台产品体系。通过与 AWS 的深度融合，数栈已完成从“可部署”到“可运营”的能力跃迁，为出海企业在全球范围内构建稳固、可信的数智底座。