1.首次安装好mysql数据库后,会生成一个随机密码,使用如下办法找到: cat /var/log/mysqld.log |grep password 2.首次安装好mysql数据库后,第一次登陆进去,需要先修改root用户密码: grant all privileges on *.* to 'root'@'%' identified by 'xxxxxxxxx';grant all privileges on *.* to 'root'@'localhost' identified by 'x…

基于yum的方式安装Cloudera Manager Server(使用Mysql 8.0版本) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.安装和配置元数据库 1>.部署MySQL数据库 我们应启动的5台服务器中选出来2台服务做MySQL主从同步.我们把mysql服务安装在node101.yinzhengjie.org.cn上.至于MySQL的部署方式并不是本片博客的重点,不过可参考我之前的笔记:使用二进制安装包的方式单机部署MySQL8.0.13. 由于这个元数据库…

基于yum的方式安装Cloudera Manager Agent(使用Mysql 8.0版本) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任.  一.选择CDH版本 1>.确认Cloudera Manager的版本 我们知道,部署的CM版本是5.16.1,大家也可以用更新版本,部署方法都一样,详情请参考:https://www.cnblogs.com/yinzhengjie/articles/10384065.html. 2>.确认要安装的CDH的版本 Cloudera Ma…

CDH构建大数据平台-使用自建的镜像地址安装Cloudera Manager 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任.   一.搭建CM私有仓库 详情请参考我的笔记: https://www.cnblogs.com/yinzhengjie/p/10412455.html. 1>.安装web服务器并启动  [root@node105 ~]# yum -y install httpd Loaded plugins: fastestmirror Loading mirror s…

关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境. Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机.Hadoop.Hive.Spark等服务的安装配置管理做了极大简化. 系统环…

关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境. Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机.Hadoop.Hive.Spark等服务的安装配置管理做了极大简化. 环境说…

一.角色分配 Cloudera Manager Agent:向server端报告当前机器服务状态. Cloudera Manager Server:接受agent角色报告服务状态,以视图界面展现,方便管理员查看.   master slave1 slave2 Server Y     Agent Y Y Y 二.准备CDH安装包 本文档采用离线安装方式,所需安装包上传到/root/soft/cdh/目录下 创建目录(所以节点都要执行) [root@master ~]# mkdir /root/s…

关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Cloudera 完全开源的Hadoop 分布式系统架构,为了满足企业的需求而特别构建的系统.即一个开源的企业级分布式存储系统. CDH是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境. hadoop是一个开源项目,所以很多公司在这个基础进行商业化,C…

一.机子分配 注意,本安装教程是在真机上进行,而非虚拟机.另,此次搭建主要的目的是搭建测试环境,让Hadoop各组件能够运作起来即可,完成搭建后,将用小数据量进行相关数据的计算与测试.线上环境将会使用阿里云主机. 以下是四台真机配置: 机子内网IP地址 主机名 内存大小 磁盘大小 CPU 192.168.0.29 bigdata01(主) 8GB 2T 1个物理CPU,4核 192.168.0.133 bigdata02(从) 8GB 500GB 1个物理CPU,2核 192.168.0.135…

一.环境准备 参考链接:https://www.cnblogs.com/zhangzhide/p/11108472.html 二.安装jdk(三台主机都要做) 下载jdk安装包并解压:tar xvf jdk-8u131-linux-x64.tar.gz -C /usr/local/      #三台主机都要执行 配置环境变量: vim /etc/profile.d/java.sh export JAVA_HOME=/usr/local/jdk1.8.0_131 export PATH=$PATH…