官方共给出了3中安装方式:第一种方法必须要求所有机器都能连网,由于最近各种国外的网站被墙的厉害,我尝试了几次各种超时错误,巨耽误时间不说,一旦失败,重装非常痛苦.第二种方法下载很多包.第三种方法对系统侵入性最小,最大优点可实现全离线安装,而且重装什么的都非常方便.后期的集群统一包升级也非常好.这也是我之所以选择离线安装的原因. 包括MySQL数据库我均采用二进制安装包方式配置,且大部分步骤仅写成脚本模式,不做说明. 补充一句,如果测试安装,建议以root用户权限进行配置部署,另外cloudera…

关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境. Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机.Hadoop.Hive.Spark等服务的安装配置管理做了极大简化. 系统环…

关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境. Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机.Hadoop.Hive.Spark等服务的安装配置管理做了极大简化. 环境说…

一.角色分配 Cloudera Manager Agent:向server端报告当前机器服务状态. Cloudera Manager Server:接受agent角色报告服务状态,以视图界面展现,方便管理员查看.   master slave1 slave2 Server Y     Agent Y Y Y 二.准备CDH安装包 本文档采用离线安装方式,所需安装包上传到/root/soft/cdh/目录下 创建目录(所以节点都要执行) [root@master ~]# mkdir /root/s…

基于yum的方式安装Cloudera Manager Server(使用Mysql 8.0版本) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.安装和配置元数据库 1>.部署MySQL数据库 我们应启动的5台服务器中选出来2台服务做MySQL主从同步.我们把mysql服务安装在node101.yinzhengjie.org.cn上.至于MySQL的部署方式并不是本片博客的重点,不过可参考我之前的笔记:使用二进制安装包的方式单机部署MySQL8.0.13. 由于这个元数据库…

一.机子分配 注意,本安装教程是在真机上进行,而非虚拟机.另,此次搭建主要的目的是搭建测试环境,让Hadoop各组件能够运作起来即可,完成搭建后,将用小数据量进行相关数据的计算与测试.线上环境将会使用阿里云主机. 以下是四台真机配置: 机子内网IP地址 主机名 内存大小 磁盘大小 CPU 192.168.0.29 bigdata01(主) 8GB 2T 1个物理CPU,4核 192.168.0.133 bigdata02(从) 8GB 500GB 1个物理CPU,2核 192.168.0.135…

一.环境准备 参考链接:https://www.cnblogs.com/zhangzhide/p/11108472.html 二.安装jdk(三台主机都要做) 下载jdk安装包并解压:tar xvf jdk-8u131-linux-x64.tar.gz -C /usr/local/      #三台主机都要执行 配置环境变量: vim /etc/profile.d/java.sh export JAVA_HOME=/usr/local/jdk1.8.0_131 export PATH=$PATH…

安装Cloudera manager agent步骤详解 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客主要是针对:https://www.cnblogs.com/yinzhengjie/p/9734108.html 笔记中关于Cloudera manager agent端的安装步骤详解.在安装过程中遇到了几个问题,以及解决这些问题的详细步骤都有记录. 一.正确的安装方式 1>.登录安装界面 2>.同意条款并点击继续 3>.选择免费版本的CDH 4>.点…

安装Cloudera manager Server步骤详解 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客主要是针对:https://www.cnblogs.com/yinzhengjie/p/9734108.html 笔记中关于Cloudera manager Server端的安装步骤详解.在安装过程中遇到了几个问题,以及解决这些问题的详细步骤都有记录. 一.正确的安装方式 1>.运行安装包 [root@node101 download]# pwd /yinzhen…

第3步:安装Cloudera Manager Server 在此步骤中,您将在Cloudera Manager主机上安装JDK和Cloudera Manager Server软件包. 安装Cloudera Manager Server软件包 在安装了数据库的主机上或有权访问数据库的主机上安装Cloudera Manager Server软件包.此主机不必是要使用Cloudera Manager管理的群集中的主机.在Cloudera Manager Server主机上,键入以下命令以安装Cloud…