环境 虚拟机:VMware 10 Linux版本:CentOS-6.5-x86_64 客户端:Xshell4 FTP:Xftp4 jdk8 zookeeper-3.4.11 搭建方案:   server agent 内存分配 node1 1 1 8G node2 1 1 2G node3 1 1 2G 一.系统环境准备:1.网络配置所有节点:vi /etc/sysconfig/networkvi /etc/hosts 2.SSH免密钥登录node1执行:ssh-keygen -t dsa -P

基于yum的方式安装Cloudera Manager Agent(使用Mysql 8.0版本) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任.  一.选择CDH版本 1>.确认Cloudera Manager的版本 我们知道,部署的CM版本是5.16.1,大家也可以用更新版本,部署方法都一样,详情请参考:https://www.cnblogs.com/yinzhengjie/articles/10384065.html. 2>.确认要安装的CDH的版本 Cloudera Ma

基于yum的方式安装Cloudera Manager Server(使用Mysql 8.0版本) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.安装和配置元数据库 1>.部署MySQL数据库 我们应启动的5台服务器中选出来2台服务做MySQL主从同步.我们把mysql服务安装在node101.yinzhengjie.org.cn上.至于MySQL的部署方式并不是本片博客的重点,不过可参考我之前的笔记:使用二进制安装包的方式单机部署MySQL8.0.13. 由于这个元数据库

关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Cloudera 完全开源的Hadoop 分布式系统架构,为了满足企业的需求而特别构建的系统.即一个开源的企业级分布式存储系统. CDH是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境. hadoop是一个开源项目,所以很多公司在这个基础进行商业化,C

关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境. Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机.Hadoop.Hive.Spark等服务的安装配置管理做了极大简化. 系统环

关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境. Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机.Hadoop.Hive.Spark等服务的安装配置管理做了极大简化. 环境说

一.角色分配 Cloudera Manager Agent:向server端报告当前机器服务状态. Cloudera Manager Server:接受agent角色报告服务状态,以视图界面展现,方便管理员查看.   master slave1 slave2 Server Y     Agent Y Y Y 二.准备CDH安装包 本文档采用离线安装方式,所需安装包上传到/root/soft/cdh/目录下 创建目录(所以节点都要执行) [root@master ~]# mkdir /root/s

安装Cloudera manager agent步骤详解 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客主要是针对:https://www.cnblogs.com/yinzhengjie/p/9734108.html 笔记中关于Cloudera manager agent端的安装步骤详解.在安装过程中遇到了几个问题,以及解决这些问题的详细步骤都有记录. 一.正确的安装方式 1>.登录安装界面 2>.同意条款并点击继续 3>.选择免费版本的CDH 4>.点

安装Cloudera manager Server步骤详解 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客主要是针对:https://www.cnblogs.com/yinzhengjie/p/9734108.html 笔记中关于Cloudera manager Server端的安装步骤详解.在安装过程中遇到了几个问题,以及解决这些问题的详细步骤都有记录. 一.正确的安装方式 1>.运行安装包 [root@node101 download]# pwd /yinzhen

第3步:安装Cloudera Manager Server 在此步骤中,您将在Cloudera Manager主机上安装JDK和Cloudera Manager Server软件包. 安装Cloudera Manager Server软件包 在安装了数据库的主机上或有权访问数据库的主机上安装Cloudera Manager Server软件包.此主机不必是要使用Cloudera Manager管理的群集中的主机.在Cloudera Manager Server主机上,键入以下命令以安装Cloud

CDH构建大数据平台-使用自建的镜像地址安装Cloudera Manager 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任.   一.搭建CM私有仓库 详情请参考我的笔记: https://www.cnblogs.com/yinzhengjie/p/10412455.html. 1>.安装web服务器并启动  [root@node105 ~]# yum -y install httpd Loaded plugins: fastestmirror Loading mirror s

一.环境准备 参考链接:https://www.cnblogs.com/zhangzhide/p/11108472.html 二.安装jdk(三台主机都要做) 下载jdk安装包并解压:tar xvf jdk-8u131-linux-x64.tar.gz -C /usr/local/      #三台主机都要执行 配置环境变量: vim /etc/profile.d/java.sh export JAVA_HOME=/usr/local/jdk1.8.0_131 export PATH=$PATH

安装Cloudera Manager,CDH和托管服务 建议使用此过程为生产环境安装Cloudera Manager和CDH.对于非生产“易于安装”,请参阅安装概念证明群集. 在开始安装之前,请确保已查看“ 安装前”中所述的要求和其他注意事项. 安装过程的一般步骤如下: 第1步:配置存储库 第2步:安装JDK 第3步:安装Cloudera Manager Server 第4步:安装数据库 步骤5:设置Cloudera Manager数据库 第6步:安装CDH和其他软件 第7步:设置群集

一.机子分配 注意,本安装教程是在真机上进行,而非虚拟机.另,此次搭建主要的目的是搭建测试环境,让Hadoop各组件能够运作起来即可,完成搭建后,将用小数据量进行相关数据的计算与测试.线上环境将会使用阿里云主机. 以下是四台真机配置: 机子内网IP地址 主机名 内存大小 磁盘大小 CPU 192.168.0.29 bigdata01(主) 8GB 2T 1个物理CPU,4核 192.168.0.133 bigdata02(从) 8GB 500GB 1个物理CPU,2核 192.168.0.135

一.包管理工具及CentOS的yum 1.包管理工具如何发现可以用的包 包管理工具依赖一系列软件源,工具下载源的信息存储在配置文件中,其位置随某包管理工具不同而变化 使用yum的RedHat/CentOS存储在:/etc/yum.repos.d 使用apt-get的Debian/Ubuntu在:/etc/apt/apt.conf (额外的源采用*.list文件指定,存储在/etc/apt/sources.list.d目录下) 例如在,CentOS下面: [root@lemon ~]# ls -l

选择三台同一局域网的阿里云服务器 最初使用阿里云.京东云.百度云的三台不同的服务器,遇到一些问题,没有解决,公网速度也没有保障,还是选择同一局域网的服务器吧 CM有三种不同的安装方式: 通过 Cloudera 公司提供的 bin 文件来安装这种方式只能用来安装 CM Server,节点机器上的 Agent 只能再另外通过 Web 页面等其他方式来安装采用 bin 文件的安装方式本质上也是用 yum 来安装的,主要是会安装 CM Server.JDK.Deamons Tools.PostgreSQ

官方共给出了3中安装方式:第一种方法必须要求所有机器都能连网,由于最近各种国外的网站被墙的厉害,我尝试了几次各种超时错误,巨耽误时间不说,一旦失败,重装非常痛苦.第二种方法下载很多包.第三种方法对系统侵入性最小,最大优点可实现全离线安装,而且重装什么的都非常方便.后期的集群统一包升级也非常好.这也是我之所以选择离线安装的原因. 包括MySQL数据库我均采用二进制安装包方式配置,且大部分步骤仅写成脚本模式,不做说明. 补充一句,如果测试安装,建议以root用户权限进行配置部署,另外cloudera

关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境. Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机.Hadoop.Hive.Spark等服务的安装配置管理做了极大简化. 系统环

1.首次安装好mysql数据库后,会生成一个随机密码,使用如下办法找到: cat /var/log/mysqld.log |grep password 2.首次安装好mysql数据库后,第一次登陆进去,需要先修改root用户密码: grant all privileges on *.* to 'root'@'%' identified by 'xxxxxxxxx';grant all privileges on *.* to 'root'@'localhost' identified by 'x

参考URL: http://blog.csdn.net/yangzhaohui168/article/details/30118175 http://blog.csdn.net/yangzhaohui168/article/details/33403555

一.安装CentOS 6.5 x64 具体安装过程自行百度 1.1 修改IP地址 [root@master ~]# vi /etc/sysconfig/network DEVICE=eth0 TYPE=Ethernet ONBOOT=yes NM_CONTROLLED=yes BOOTPROTO=static IPADDR=192.168.1.181 NETMASK=255.255.255.0 GATEWAY=192.168.1.1 删除70-persistent-net.rules [root