总体思路,准备主从服务器,配置主服务器可以无密码SSH登录从服务器,解压安装JDK,解压安装Hadoop,配置hdfs.mapreduce等主从关系. 1.环境,3台CentOS7,64位,Hadoop2.7需要64位Linux,CentOS7 Minimal的ISO文件只有600M,操作系统十几分钟就可以安装完成,Master 192.168.0.182Slave1 192.168.0.183Slave2 192.168.0.184 2.SSH免密码登录,因为Hadoop需要通过SSH登录到各

总体思路,准备主从服务器,配置主服务器可以无密码SSH登录从服务器,解压安装JDK,解压安装Hadoop,配置hdfs.mapreduce等主从关系. 1.环境,3台CentOS7,64位,Hadoop2.7需要64位Linux,CentOS7 Minimal的ISO文件只有600M,操作系统十几分钟就可以安装完成,Master 192.168.0.182 Slave1 192.168.0.183 Slave2 192.168.0.184 2.SSH免密码登录,因为Hadoop需要通过SSH登录

 准备3个虚拟机节点 其实这一步骤非常简单,如果你已经完成了第2步,此时你已经准备好了第一个虚拟节点,那第二个和第三个虚拟机节点如何准备?可能你已经想明白了,你可以按第2步的方法,再分别安装两遍linux系统,就分别实现了第二.三个虚拟机节点.不过这个过程估计会让你很崩溃,其实还有一个更简单的方法,就是复制和粘贴,没错,就是在你刚安装好的第一个虚拟机节点,将整个系统目录进行复制,形成第二和第三个虚拟机节点.简单吧!~~ 很多人也许会问,这三个结点有什么用,原理很简单,按照hadoop集群的基本要

1.我搭建的是三台centos7的环境 首先准备三个centos7(文中出现的所有的链接都是我自己的) centos7下载地址(也可以上官网自行下载):https://pan.baidu.com/s/1Y_EVLDuLwpKv2hU3HSiPDA 提取码:05mi 2.安装完成后需要修改ip,都改为静态的ip vi /etc/sysconfig/network-scripts/ifcfg-ens33(有可能不是ifcfg-ens33,自行判断),以下是我的配置,你们可以参考下 BOOTTPROT

准备 1.三台Centos7的机器: hostname IP地址 部署规划 node1 172.20.0.4 NameNode.DataNode node2 172.20.0.5 DataNode node3 172.20.0.6 DataNode 在/etc/hosts中都加上主机名解析: 172.20.0.4 node1 172.20.0.5 node2 172.20.0.6 node3 2.配置node1到三台机器的免密登录. 3.全部安装jdk8,配置JAVA_HOME. 4.官网下载安

准备Hadoop-2.6.0-cdh5.16.1.tar.gz 下载网址 http://archive.cloudera.com/cdh5/cdh/5/Hadoop-2.6.0-cdh5.16.1.tar.gz Hadoop中的NameNode和DataNode是通过SSH(Secure Shell)进行通信的,所以要限完成SSH的免密登录. 一路回车 ,最后yes ,输入用户密码确认 ssh-kengen -t rsa ssh-copy-id localhost 安装到 /opt/hadoop

下载hadoop-2.7.7 网址如下 https://www-eu.apache.org/dist/hadoop/core/ 移动到/opt 路径下 在/opt下新建一个文件夹,名为app mkdir app 将/opt 下的hadoop-2.7.7.tar.gz 解压到/opt/app 下 tar -xzvf hadoop-2.7.7.tar.gz -C /opt/app 修改环境变量 vi /etc/profile export HADOOP_HOME=/usr/app/hadoop-2.

启用ip vi /etc/sysconfig/network-scripts/ifcfg-ONBOOT=yes 编辑DNS /etc/resolv.conf nameserver 114.114.114.114... 重启网络 service network restart nmcli conn show  看下你现在启用的是哪个配置ip 查看ip(可以安装yum -y install net-tools 就有ifconfig和netstat了)查看改动后的效果,Centois 7 不再使用 i

本文只做简单介绍,具体步骤操作请参考centos6.5 安装hadoop1.2.1亲测版 本篇只简单介绍安装步骤 1.安装目录 /usr/local/hadoop (HADOOP_HOME) 2,创建group hadoop groupadd hadoop 3.创建用户hadoop  useradd -d /home/hadoop -g hadoop hadoop chown -R hadoop:hadoop /usr/local/hadoop 4.每台机器安装jdk(安装在相同的目录) 5.m

准备 1.hadoop已部署(若没有可以参考:Centos7安装Hadoop2.7),集群情况如下(IP地址与之前文章有变动): hostname IP地址 部署规划 node1 172.20.0.2 NameNode.DataNode node2 172.20.0.3 DataNode node3 172.20.0.4 DataNode 2.官网下载安装包:spark-2.4.4-bin-hadoop2.7.tgz(推荐去清华大学或中科大的开源镜像站). 3.spark将部署在三台都已存在的路

准备 1.hadoop已部署(若没有可以参考:Centos7安装Hadoop2.7),集群情况如下: hostname IP地址 部署规划 node1 172.20.0.4 NameNode.DataNode node2 172.20.0.5 DataNode node3 172.20.0.6 DataNode 2.官网下载安装包:apache-hive-2.3.6-bin.tar.gz(推荐去清华大学或中科大的开源镜像站). 安装 hive只需要部署在主节点node1上,解压apache-hi

准备 1.hadoop集群已安装,这里将在Centos7安装Hadoop2.7的基础上安装hbase1.4,所以是同样的三台机器,其规划如下: hostname IP地址 部署规划 node1 172.20.0.4 Master.RegionServer node2 172.20.0.5 Backup-Master.RegionServer node3 172.20.0.6 RegionServer 2.官网下载安装包:hbase-1.4.12-bin.tar.gz(推荐去清华大学或中科大的开源

如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.> 如何配置hadoop2.9.0 HA 请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十)安装hadoop2.9.0搭建HA> 安装hadoop的服务器: 192.168.0.120 master 192.168.0.121 slave1 192.168.

环境:[centos7.hadoop-2.7.3.zookeeper-3.4.6.hbase-1.2.5] 两个节点:[主节点,主机名为Master,用户为root:从节点,主机名为Slave,用户为root] 1.设置主机名,实现域名通信(所有节点都要改) 修改hostname主机名 hostnamectl set-hostname 主机名 #修改三种主机名 hostnamectl –static set-hostname 主机名 #只会修改static主机名 ifconfig查看ip 我这里

centos7安装spark(伪分布式) spark是由scala语言开发的,首先需要安装scala. Scala安装 下载scala-2.11.8,(与spark版本要对应) 命令:wget https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz 解压到文件夹并配置环境变量 vim /etc/profile #scala export SCALA_HOME=/home/zck/software/scala export PAT

本篇介绍在centos7中搭建hadoop2.10高可用集群,首先准备6台机器:2台nn(namenode);4台dn(datanode):3台jns(journalnodes) IP hostname 进程 192.168.30.141 s141 nn1(namenode),zkfc(DFSZKFailoverController),zk(QuorumPeerMain) 192.168.30.142 s142 dn(datanode), jn(journalnode),zk(QuorumPee

本篇介绍在centos7中大家hadoop2.10完全分布式,首先准备4台机器:1台nn(namenode);3台dn(datanode) IP hostname 进程 192.168.30.141 s141 nn(namenode) 192.168.30.142 s142 dn(datanode) 192.168.30.143 s143 dn(datanode) 192.168.30.144 s144 dn(datanode) 由于本人使用的是vmware虚拟机,所以在配置好一台机器后,使用克

HP服务器  hp 360g5 centos7安装问题 一 :启动盘无法识别硬盘 1.进入安装光盘,用上下键选择安装centos--Install Centos7(注意不可按Enter键),如图: 2.按Tab键,对安装进行额外配置,在屏幕最下方会显示如下字样: 3.在额外配置的命令行上添加配置: hpsa.hpsa_simple_mode=1 hpsa.hpsa_allow_any=1,如图所示: 二:安装完成后无法引导  出现情况:CentOS开机进度条卡死在100% 显示 firmware

CentOS7安装Mono及Juxes 1 安装Mono 1.1 安装yum-utils 因为安装要用到yum-config-manager,默认是没有安装的,所以要先安装yum-utils包.命令如下: yum install yum-utils 1.2 安装Mono rpm --import "http://keyserver.ubuntu.com/pks/lookup?op=get&search=0x3FA7E0328081BFF6A14DA29AA6A19B38D3D831EF&

针对centos7安装mysql,提示"No package mysql-server available."错误,解决方法如下: Centos 7 comes with MariaDB instead of MySQL. MariaDb is a open source equivalent to MySQL and can be installed with yum -y install mariadb-server mariadb. If you must have mysql