CDH - [01] 概述
一、什么是CDH
CDH是Cloudera's Distribution Including Apache Hadoop的缩写,即Cloudera公司发布的Hadoop发行版。它是一个为Hadoop构建的企业级数据平台,提供了Hadoop核心组件的预编译、测试和优化的版本,以及管理这些组件的工具和附加功能。Cloudera提供了易于安装、配置和管理的Hadoop解决方案,使得企业能够更轻松地集成和使用Hadoop进行大数据分析和处理。集成了Zookeeper、HDFS、Yarn...等大数据服务。
二、为什么使用CDH
- 原生Hadoop版本很多,兼容性需要自己调研,成本高。
- 缺乏边界的管理工具或者平台,运维效率低,成本高。
- Hadoop相关组件发行商也比较多。
- CDH比较友好,使用者多。
二、CDH和TDH的区别?
共同点:
1、两者都是基于Apache Hadoop开发的大数据集成平台,集成了大数据各个服务
2、都有manager节点对集群agent节点的大数据服务进行可视化监控,并可以对集群节点进行可视化扩容缩容操作。
不同点:
1、Cloudera作为Hadoop领域的领先企业,拥有广泛的社区和强大的技术支持。提供有免费版CDH以供下载安装使用,在某种程度上,能够有利于对市场的推广。毕竟在当下,IT领域的开源是很重要的,有前人开拓,有后人继往开来,才能让IT技术与时俱进。
2、TDH(Transwarp Data Hub)依赖于其背后的公司进行支持,并且TDH只有短暂的试用期,后续使用需要联系其厂商,购买相关许可证。并且其并没有广泛的社区,客户在遇到问题时,还是需要联系厂商以提供对应的技术支持以及维护。
三、CM的作用?
CM是Cloudera Manager的缩写,它是Cloudera提供的用于管理Hadoop集群的工具。
CM的主要作用包括:
1、集群部署和配置
通过CM,用户可以更轻松地部署和配置Hadoop集群,包括添加或删除节点、配置组件参数等。
2、监控和诊断
CM提供了强大的监控功能,可以实时查看集群的运行状态、性能指标等。同时,它还提供了诊断工具,帮助用户快速定位和解决问题。
3、安全和管理
CM支持多种安全特性,如Kerberos认证、访问控制等,确保集群的安全性。此外,它还提供了集群管理的功能,如资源调度、作业管理等。
四、CDH相对开源的Hadoop,有哪些差异?
1、易用性和管理性:CDH提供了预编译、测试和优化的Hadoop组件版本,以及强大的管理工具(如CM),使得用户可以更轻松地安装、配置和管理Hadoop集群。而开源的Hadoop则需要用户自行处理这些繁琐的工作。
2、稳定性和可靠性:Cloudera对Hadoop组件进行了深入的测试和优化,以确保CDH的稳定性和可靠性。这有助于减少用户在生产环境中可能遇到的问题。
3、安全性和合规性:CDH可能包含更多的安全特性和合规性支持,以满足企业级应用的需求。这些特性可能包括Kerberos认证、审计日志、数据加密等。
4、支持和维护:作为商业产品,CDH提供了专业的技术支持和维护服务,可以帮助用户解决在使用过程中遇到的问题。而开源的Hadoop则主要依赖于社区的支持。
— 要养成终生学习的习惯 —
CDH - [01] 概述的更多相关文章
- kafka详解(01) - 概述
kafka详解(01) - 概述 定义:Kafka是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域. 消息队列 MQ传统应用场景之异步处理 使用消 ...
- Zookeeper详解(01) -概述
Zookeeper详解(01) -概述 概念 Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目. Zookeeper从设计模式角度来理解,是一个基于观察者模式设计的分 ...
- 01 - 概述 VTK 6.0 迁移
摘要 对vtk版本4和5的管道机制重新架架构的主要目的是:迁移数据对象和算法对象中的管道执行逻辑到一个新集合的类中,我们称这个集合类叫executives.分离数据和执行模型的代码后,可以双双简化修改 ...
- Redis数据库 01概述| 五大数据类型
1.NoSQL数据库简介 解决应用服务器的CPU和内存压力:解决数据库服务的IO压力: ----->>> ① session存在缓存数据库(完全在内存里),速度快且数据结构简单: 打 ...
- Hive 01 概述、安装配置
概述 数据仓库:是一个面向主题的.集成的.不可更新的.随时间不变化的数据集合,它用于支持企业或组织的决策分析处理. 数据仓库的结构和建立过程: 数据源 数据存储及管理 ETL Extract 提取 T ...
- 【OracleDB】 01 概述和基本操作
实例概念: Oracle有一个特殊的概念 Oracle数据库 = 数据库 + Oracle文件系统 + Oracle实例 实例处理Oracle的请求,调用文件系统 然后返回结果响应给客户端 单实例和多 ...
- 【大数据面试】Flink 01 概述:包含内容、层次架构、运行组件、部署模式、任务提交流程、任务调度概念、编程模型组成
一.概述 1.介绍 对无界和有界数据流进行有状态计算的分布式引擎和框架,并可以使用高层API编写分布式任务,主要包括: DataSet API(批处理):静态数据抽象为分布式数据集,方便使用操作符进行 ...
- Headfirst JSP 01 (概述)
HTTP 协议 http 是tcp/ip上层协议, 如果你对这些网络协议还不是太熟悉, 下面提供一个非常简单的解释, tcp负责确保从一个网络节点向另一个网络节点发送文件能作为一个完整的文件到达目的地 ...
- Python学习笔记 :01概述
Python基础 首先推荐学习Python基础的教程和书籍 视频教程推荐南京大学张莉老师在cousera上的教程用Python玩转数据 入门教程<Python基础教程> 数据挖掘教程< ...
- 重学C语言---01概述
1.什么是C语言 C语言是一种计算机程序设计语言,它既具有高级语言的特点,又具有汇编语言的特点.计算机语言是从第二次世界大战以后,经历了戏剧性的发展过程.从机器语言到汇编语言和高级语言.C语言是与硬件 ...
随机推荐
- LeetCode721 账户合并
题解 对于\(vector<vector<string>> accounts\),我们定义\(accounts[i]\)为一个列表项.对于\(accounts\)中的一条列表项 ...
- vue3笔记 - 父子组件通信
父传子 说明:父组件将数据绑定在组件标签上:子组件props接收 父组件: <template> <Child :msg="msg" /> </tem ...
- Java代码覆盖率super-jacoco
开源项目地址 https://gitee.com/didiopensource/super-jacoco 项目流程 项目架构 部署步骤 注意:一定要用Linux服务器部署,不要用Windows 准备L ...
- Shiro配置跳过权限验证
需求 因为在开发环境,测试环境,有时候需要跳过shiro的权限验证.所以想写个简单的配置跳过shiro的权限验证.跳过权限验证的原理就是重写**@RequiresPermissions**的实现,然后 ...
- Qt音视频开发17-海康sdk解码
一.前言 在视频监控行业领域,海康当之无愧是老大,稳坐第一的宝座很多年了,近期需要将视频监控系统改成采用海康sdk的内核,于是特意去查阅了sdk的使用手册,sdk相关的文档和文件可以直接官网下载到,而 ...
- Qt编写安防视频监控系统28-摄像机点位
一.前言 摄像机点位的功能主要是在图片地图和在线离线地图上设置对应摄像机的位置,然后双击可以实时预览对应摄像机的视频,在图片地图上拖动摄像机图标到对应位置,系统会自动保存位置信息,在网页地图上的摄像机 ...
- 微信团队分享:来看看微信十年前的IM消息收发架构,你做到了吗
本文由微信技术团队分享,原题"十年前的微信消息收发架构长啥样?",下文进行了排版和内容优化等. 1.引言 2023 年,微信及 WeChat 的 DAU(月活用户)达到 13.4 ...
- JSON解析的这6种方案,真香!
前言 在 Java 开发中,解析 JSON 是一个非常常见的需求. 不管是和前端交互.调用第三方接口,还是处理配置文件,几乎都绕不开 JSON. 这篇文章总结了6种主流的 JSON 解析方法,希望对你 ...
- pip在线安装
# 下载安装脚本 curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py # 运行安装脚本 sudo python3 get-pip.py # ...
- w3cschool-Flink 入门
Flink 入门 Apache Flink是一个框架和分布式处理引擎,用于在无界和有界数据流上进行有状态的计算.Flink被设计为在所有常见的集群环境中运行,以内存中的速度和任何规模执行计算. A ...