集群监管-USDP(智能大数据平台)

UCloud Smart Data Platform（简称 USDP），是 UCloud 推出的智能化、轻量级、适用于私有化部署至客户本地的大数据基础服务平台，通过自研的 USDP Manager 管理工具，支持用户创建大数据集群，在集群中部署 Hadoop、Hive、HBase、Spark、Flink、Presto、Atlas、Ranger 等众多开源大数据组件，并对这些组件进行配置管理、监控告警、故障诊断等智能化的运维管理，从而帮助您快速构建起大数据的分析处理能力。

产品优势

---

1、全面兼容开源生态

• 基于开放式的管理架构，USDP 集成了 30 余款开源的大数据组件，涵盖数据集成、数据存储、计算引擎、任务调度、权限管理等大数据处理的各个环节。用户可以根据自身业务特点和需求，从中选择相应的组件来搭建自己的大数据处理平台。

2、无需担心业务绑定

• USDP 中所包含的大数据服务、组件，均遵守 Apache 2.0 开源协议，由于本身紧跟开源社区的步伐，用户可以随时进行自主替换、自主建设、自主数据迁移、集群迁移等，因此无需担心大数据业务与闭源服务绑定。

3、傻瓜式部署方式

• 为了能让用户体验到极简的大数据部署运维、管理方案，USDP提供了丰富详细的部署、操作文档，并且用户无需担心安装时准备众多内容，初始化环境只需要简单几步，即可自动完成配置。

4、全面丰富的监控指标

• USDP 预置了丰富的监控指标，主要包括：JMX 全量指标、HTTP 常用指标、自定义指标，通过预置的监控模板，用户可以查看各类服务组件详细的监控指标，也可以自定义添加所需的监控指标。

5、灵活便捷的告警服务

• USDP提供预置的告警模板，只需进行简单配置，即可实现向不同目标（微信、钉钉、邮件、接口调用等）发送集群异常告警。用户还可以对默认告警模板进行修改，或根据需要添加新的告警规则。

6、专业的技术支持

• UCloud大数据团队积淀了多年公有云大数据运维和业务调优经验，通过持续更新的知识库，可以为用户提供专家级的技术支持，解决大数据平台使用和维护的后顾之忧。

组件清单

---

• 参考：https://www.ucloud.cn/site/product/usdpdc.html

USDP架构

---

• 

说明：

• Manager Server为USDP管理端服务，需配备一个MySQL实例存储集群相关的元数据信息。Agent为USDP从节点控制端服务，用于管理、操作所在节点以及所在节点上的大数据服务。其中 “大数据生态服务、组件服务” 为各类大数据服务（例如：HDFS、YARN等）
• 在USDP中，采用InfluxDB、Prometheus、Grafana作为监控服务，用于汇总并展示整个集群的监控数据。
• USDP支持最少3个节点，最多上千节点的集群规模，同时，允许Manager Server与Agent等相关服务部署在相同的节点上，这样满足大型业务的同时，也尽可能帮助用户使用较小的成本满足小型业务对数据分析的诉求。

 Flag：

• 管理多个大数据集群
• 粒度：集群、主机、服务