2. Hadoop三种集群方式 1. 三种集群方式 本地模式 hdfs dfs -ls / 不需要启动任何进程 伪分布式 所有进程跑在一个机器上 完全分布式 每个机器运行不同的进程 2. 服务器基本配置 2.1 服务器配置及系统版本 CPU: 2核 内存: 4G 系统版本: Centos7 1511 2.2 服务器IP及主机名设置 服务器数量: 五台机器 主机名 公网IP 内网IP hadoop-1 192.168.10.145 172.16.1.207 hadoop-2 192.168.10.…

环境:hadoop 2.6.0 + hbase 1.0.1.1 + mac OS X yosemite 10.10.3 安装步骤: 一.下载解压 到官网 http://hbase.apache.org 下载合适的版本(hbase与hadoop的版本要匹配,否则可能运行不起来),解压到某个目录即可,本文中的解压目录为 /Users/jimmy/app/hbase-1.0.1.1 二.设置环境变量 ... export HBASE_HOME=/Users/jimmy/app/hbase-1.0.1.…

先前已经做了准备工作安装jdk什么的,以下開始ssh免password登陆.这里我们用的是PieTTY工具,当然你也能够直接在linux下直接操作 ssh(secure shell),运行命令 ssh-keygen -t rsa产生密钥,位于~/.ssh目录中 watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbmVlZGthbmU=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/grav…

1.使用hadoop是需要jdk环境的,因为hadoop里面有java程序,而运行java程序需要jdk. 2.从宿主机上传文件到虚拟机有很多方法,我选择的是在虚拟机安装lrzsz,安装lrzsz命令行:yum install -y lrzsz 3.确定好软件安装路径 /opt #工作目录 /opt/installed #安装包 /opt/software #软件包 /opt/other #其他 /opt/test #测试 4.上传软件包 cd /opt/installed rz #从宿主机下载…

设置sshssh-keygen -t rsa -P ''cat id_rsa.pub >> authorized_keys 查看slaves节点的id_rsa.pub文件,将文件内容复制到master节点的authorized_keys文件中[tips]粘贴过去的每一行必须保证单独是一行!分发authorized_keys文件到slaves节点scp authorized_keys root@slave1:~/.ssh/scp authorized_keys root@slave2:~/.ss…

第一步:配置网络(静态IP) vi /etc/sysconfig/network-scripts/ifcfg-ens33(网卡名称可能不同) 1. 修改: 将该配置文件中的ONBOOT=no修改为yes(网络开机自启) 将BOOTPROTO=dhcp修改为static(将ip设置为静态ip)   2. 为了能够通过外部访问到虚拟机,增加: IPADDR=192.168.154.110(110是自己设置的,154是VMnet8的NAT网段) NETMASK=255.255.255.0(子网掩码都为…

一.伪分布式的搭建 1.准备Linux环境 1.0点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.8 错误!未找到目录项. .0 子网掩码:255.255.255.0 -> apply -> ok 回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性 -> 双击IPv…

https://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation 这一部中user是文件夹的名字,username是虚拟机代码名字,如master start之后format一下,应该有四个 注意:hosts 里master的地址不能写127.0巴拉巴拉,要写192.168巴拉巴拉 xml里面加上一些data和node的配置…

转载自:https://cloud.tencent.com/developer/article/1010539 1.Ceph 介绍 Ceph 是一个开源的分布式存储系统,包括对象存储.块设备.文件系统.它具有高可靠性.安装方便.管理简便.能够轻松管理海量数据.Ceph 存储集群具备了企业级存储的能力,它通过组织大量节点,节点之间靠相互通讯来复制数据.并动态地重分布数据,从而达到高可用分布式存储功能.Ceph 经过七年的发展,现在越来越完善,吸引了更多的参与者,相信以后会更加流行. 2.环境.软件…

本地模式 环境介绍 一共三台测试机 master   192.168.4.91 slave1   192.168.4.45 slave2   192.168.4.96 操作系统配置 1.Centos7操作系统 2.防火墙,selinux都关闭(在学习的时候,基本都是关闭防火墙,生产环境,防火墙都是打开的,不仅有Linux自带的主机防火墙,还有其他的物理防火墙) *** 以下操作需要root权限 *** () Centos7关闭防火墙命令 #systemctl stop firewalld #sy…