使用Cloudera Manager模板创建CDH群集 您可以通过从Cloudera Manager管理的现有CDH群集导出群集模板来创建新的CDH群集.然后,您可以修改模板并使用它在新的主机集上创建具有相同配置的新集群.使用群集模板: 用于开发人员,测试和生产环境的重复群集. 快速为特定工作负载创建集群. 重现生产群集以进行测试和调试. 按照以下常规步骤创建模板和新集群: 从源群集导出群集配置.导出的配置是一个JSON文件,详细说明了群集的所有配置.JSON文件包含一个 实例化 包含在创建新集…

第2步:安装Java Development Kit 要安装Oracle JDK,您可以使用Cloudera Manager安装Cloudera提供的版本,也可以直接安装Oracle的其他版本. 继续阅读: 要求 使用Cloudera Manager安装JDK 手动安装JDK 要求 已安装的JDK必须是受支持的版本,如CDH和Cloudera Manager支持的JDK版本中所述. 在相同版本的JDK的Oracle必须安装在每个群集主机上. 必须安装JDK / usr / java / jdk-…

推荐的群集主机和角色分配 要点:本主题描述了Cloudera Manager管理的CDH群集的建议角色分配.您为部署选择的实际分配可能会有所不同,具体取决于工作负载的类型和数量,群集中部署的服务,硬件资源,配置和其他因素. 使用Cloudera Manager安装向导安装CDH时,Cloudera Manager会尝试根据主机中可用的资源在群集主机(分配给网关主机的角色除外)之间分配角色.您可以在向导中显示的“ 自定义角色分配”页面上更改这些分配.您也可以稍后使用Cloudera Manager…

步骤5:设置Cloudera Manager数据库 Cloudera Manager Server包含一个可以为自己创建和配置数据库的脚本.该脚本可以: 创建Cloudera Manager Server数据库配置文件. (MariaDB,MySQL和PostgreSQL)为Cloudera Manager Server创建和配置数据库以供使用. (MariaDB,MySQL和PostgreSQL)为Cloudera Manager Server创建和配置用户帐户. 虽然脚本可以创建数据库,但以…

第6步:安装CDH和其他软件 设置Cloudera Manager数据库后,启动Cloudera Manager Server,然后登录Cloudera Manager Admin Console: 启动Cloudera Manager Server: RHEL 7兼容: sudo systemctl start cloudera-scm-server 兼容RHEL 6,Ubuntu,SLES: sudo service cloudera-scm-server start 等待几分钟,以启动Cl…

安装Cloudera Manager,CDH和托管服务 建议使用此过程为生产环境安装Cloudera Manager和CDH.对于非生产“易于安装”,请参阅安装概念证明群集. 在开始安装之前,请确保已查看“ 安装前”中所述的要求和其他注意事项. 安装过程的一般步骤如下: 第1步:配置存储库 第2步:安装JDK 第3步:安装Cloudera Manager Server 第4步:安装数据库 步骤5:设置Cloudera Manager数据库 第6步:安装CDH和其他软件 第7步:设置群集…

创建群集主机的虚拟映像 您可以使用预先部署的Cloudera软件创建虚拟机映像,例如PXE启动映像,Amazon AMI和Azure VM映像,这些映像可用于快速启动虚拟机.这些图像使用parcel来安装CDH软件.本主题描述了创建Cloudera Manager主机和工作主机映像的过程以及如何从这些映像实例化主机. 继续阅读: 创建预部署的Cloudera Manager主机 实例化Cloudera Manager映像 创建预部署的工作主机 实例化工作者主机 创建预部署的Cloudera Ma…

Cloudera Manager的存储空间规划 最低要求角色: 完全管理员 Cloudera Manager跟踪许多后台进程中的服务,作业和应用程序的度量标准.所有这些指标都需要存储.根据组织的大小,此存储可以是本地或远程,基于磁盘的,也可以是数据库,由您或其他位置的其他团队管理. 大多数系统管理员都知道常见的位置 /var/log/并且这些地点需要有足够的空间.本主题可帮助您规划Cloudera Manager Server和Cloudera Management Service用于存储度量标…

一.Cloudera Manager介绍 Cloudera Manager(简称CM)是Cloudera公司开发的一款大数据集群安装部署利器,这款利器具有集群自动化安装.中心化管理.集群监控.报警等功能,使得安装集群从几天的时间缩短在几小时以内,运维人员从数十人降低到几人以内,极大的提高集群管理的效率. 开始之前其实有很多的工作要做,比如配置IP地址.关闭防火墙.配置SSH免密登录等,这些都是比较常规的环境配置,这里不再赘述,不懂者可以参考大数据 -- Hadoop集群环境搭建中部分内容. 附上…

本文主要内容是使用Windows Azure的VIRTUAL MACHINES和NETWORKS服务安装CDH (Cloudera Distribution Including Apache Hadoop)搭建Hadoop集群. 项目中在私有云中使用CDH (Cloudera Distribution Including Apache Hadoop)搭建Hadoop集群进行大数据计算.作为微软的忠实粉丝,将CDH部署到Windows Azure的虚拟机中是我的必然选择.由于CDH中包含多个开源服…