1.准备一台Vmware虚拟机,添加hdfs用户及用户组,配置网络见 https://www.cnblogs.com/qixing/p/11396835.html 在root用户下 添加hdfs用户,并设置密码: adduser hdfs passwd hdfs 将hdfs用户添加到hdfs用户组中 usermod -a -G hdfs hdfs 前面一个hdfs是组名,后面一个hdfs是用户名 验证用户和用户组: cat /etc/group 会看到   hdfs:x:1001:hdfs 将h…

本篇介绍在centos7中搭建hadoop2.10高可用集群,首先准备6台机器:2台nn(namenode);4台dn(datanode):3台jns(journalnodes) IP hostname 进程 192.168.30.141 s141 nn1(namenode),zkfc(DFSZKFailoverController),zk(QuorumPeerMain) 192.168.30.142 s142 dn(datanode), jn(journalnode),zk(QuorumPee…

本篇介绍在centos7中大家hadoop2.10完全分布式,首先准备4台机器:1台nn(namenode);3台dn(datanode) IP hostname 进程 192.168.30.141 s141 nn(namenode) 192.168.30.142 s142 dn(datanode) 192.168.30.143 s143 dn(datanode) 192.168.30.144 s144 dn(datanode) 由于本人使用的是vmware虚拟机,所以在配置好一台机器后,使用克…

环境:[centos7.hadoop-2.7.3.zookeeper-3.4.6.hbase-1.2.5] 两个节点:[主节点,主机名为Master,用户为root:从节点,主机名为Slave,用户为root] 1.设置主机名,实现域名通信(所有节点都要改) 修改hostname主机名 hostnamectl set-hostname 主机名 #修改三种主机名 hostnamectl –static set-hostname 主机名 #只会修改static主机名 ifconfig查看ip 我这里…

环境说明 示例环境 主机名 IP 角色 系统版本 数据目录 Hadoop版本 master 192.168.174.200 nameNode CentOS Linux release 7.4.1708 (Core) 2.8.0 slave1 192.168.129.201 dataNode CentOS Linux release 7.4.1708 (Core) 2.8.0 准备工作 JDK安装 确认本机安装的JDK版本为1.7以上,建议为1.8. 查看本机安装JDK rpm -e --node…

环境: CentOS7 hadoop2.6.4两个节点:master.slave1 HBase1.1.6 过程: hadoop安装目录:/usr/hadoop-2.6.4 master节点,hadoop用户登录.在hadoop目录下新建thirdparty目录: $ mkdir thirdparty 目录结构: 把hbase1.1.6解压到thirdparty目录下: $ cp ~/hbase-1.1.6-bin.tar.gz thirdparty $ cd thirdparty $ tar z…

环境: CentOS7+SunJDK1.8@VMware12. NameNode虚拟机节点主机名:master,IP规划:192.168.23.101,职责:Name node,Secondary name node,Resource manager. DataNode虚拟机节点主机名:slave1,IP规划:192.168.23.102,职责:Data node,Node manager. 每个虚拟机分配资源:CPU单颗,内存2GB,硬盘20GB. 过程概要: 创建2个虚拟机,主机名分别为:m…

集群架构 虚拟机规划 IP hostname 节点说明 端口 控制台地址 192.168.247.150 rabbitmq.master rabbitmq master 5672 http://192.168.247.150:15672 192.168.247.151 rabbitmq.s.o rabbitmq slave 5672 http://192.168.247.151:15672 192.168.247.152 rabbitmq.s.t rabbitmq slave 5672 http…

用户配置: User :root Password:toor 2.创建新用户 student Pwd: student 3．安装virtualbox的增强工具软件 4.系统默认安装的是openjdk 1.7.0.5 没有jps等工具可以使用. 但hadoop应该是可以在openjdk中使用的. 卸载openjdk,下载安装oracle jdk. for i in $(rpm -qa | grep openjdk | grep -v grep) do echo "Deleting rpm ->…

公司建立数仓,hive是必不可少的,hive是建立在hadoop基础上的数据库,前面已经搭建起了hadoop高可用,要学习hive,先从搭建开始,下面梳理一下hive搭建过程 1.下载hive安装包 ,下载地址:https://hive.apache.org/downloads.html 找到自己hadoop对应的版本下载安装,我这里下载的是 apache-hive-2.3.6-bin.tar.gz 2.安装hive,将安装包解压到/opt/soft下,并建立软链接 tar -zxvf apac…