hadoop 2.6的“伪”分式安装与“全”分式安装相比,大部分操作是相同的,主要区别在于不用配置slaves文件,而且其它xxx-core.xml里的参数很多也可以省略,下面是几个关键的配置: (安装JDK.创建用户.设置SSH免密码 这些准备工作,大家可参考hadoop 2.6全分布安装 一文,以下所有配置文件,均在$HADOOP_HOME/etc/hadoop目录下) 另外,如果之前用 yum install hadoop安装过低版本的hadoop,请先卸载干净(即:yum remove…

本文转载自向着梦想奋斗博客 Hadoop是什么? 适合大数据的分布式存储于计算平台 不适用小规模数据 作者:Doug Cutting 受Google三篇论文的启发 Hadoop核心项目 HDFS(Hadoop Distrubuted File System) 分布式文件系统 MapReduce 并行计算框架 版本 Apache 官方版本 Cloudera 使用下载最多的版本,稳定,有商业支持,在Apache的基础上打上了一些补丁(Patch).推荐使用. Yahoo Yahoo内部使用的版本,发…

hadoop伪分布安装   Hadoop2的伪分布安装步骤[使用root用户用户登陆]other进去超级用户拥有最高的权限 1.1(桥接模式)设置静态IP ,,修改配置文件,虚拟机IP192.168.1.99重启网卡,网关192.168.1.1是物理机下面的默认网关, 执行命令 vi /etc/sysconfig/network-scripts/ifcfg-eh0   修改内容: TYPE="Ethernet" BOOTPROTO="static" ONBOOT=&…

CentOS 6.5 伪分布安装 软件准备  jdk-6u24-linux-i586.bin .hadoop-1.2.1.tar.gz.hadoop-eclipse-plugin-1.2.1.jar . Eclipse-jee-indigo-SR2-linux-gtk.tar.gz 假设:  所有软件压缩包都放在  /home/hadoop 文件夹下. 1.JDK安装 1．1           root用户登录,使用命令 mkdir  /usr/local/program 新建目录progra…

主要包括以下三部分,本文为第二部分: 一. Scala环境准备 查看 二. Hadoop集群(伪分布模式)安装 三. Spark集群(standalone模式)安装 查看 Hadoop集群(伪分布模式)安装 依赖项:jdk(hadoop与java版本兼容性参考链接).ssh: 执行ssh localhost若提示: localhost: ssh: connect to host localhost port 22: Connection refused 则需要: a.检查是否安装了openssh…

对菩提树下的杨过.Net的这篇博客<hadoop 2.6全分布安装>,我真是佩服的五体投地,我第一次见过教程能写的这么言简意赅,但是又能比较准确表述每一步做法的,这篇博客主要就是在他的基础上自己遇到的一些问题或者疑惑的罗列或者总结,方便自己使用或者其他人参考. 1.在他博客的第1.2小节修改hosts文件,此处不是只修改master,而是应该修改所有的主从节点,即master.slave01.slave02... sudo vi /etc/hosts 192.168.187.102 maste…

解压 将安装包hadoop-2.2.0.tar.gz存放到/home/haozhulin/install/目录下,并解压 #将hadoop解压到/home/haozhulin/install路径下,定位目录到/home/haozhulin/install tar –zxvf hadoop-2.2.0.tar.gz –C /home/haozhulin/install/ 或者先让其有执行权限,然后直接./就可以解压 chmod +x hadoop-2.2.0.tar.gz     ./hadoop…

目录: 1.修改主机名和用户名 2.配置静态IP地址 3.配置SSH无密码连接 4.安装JDK1.7 5.配置Hadoop 6.安装Mysql 7.安装Hive 8.安装Hbase 9.安装Sqoop ******************** 8.安装Hbase HBase是基于HDFS的一种列式数据库,接下来使用伪分布式的安装方式. (1)将/opt/hbase-1.0.0-cdh5.6.0.tar.gz解压 -cdh5.6.0.tar.gz (2) 配置Hbase相关配置文件,在其conf目…

环境:hadoop 2.6.0 + hbase 1.0.1.1 + mac OS X yosemite 10.10.3 安装步骤: 一.下载解压 到官网 http://hbase.apache.org 下载合适的版本(hbase与hadoop的版本要匹配,否则可能运行不起来),解压到某个目录即可,本文中的解压目录为 /Users/jimmy/app/hbase-1.0.1.1 二.设置环境变量 ... export HBASE_HOME=/Users/jimmy/app/hbase-1.0.1.…

今天总算是把hadoop2.4的整个开发环境弄好了,包括 windows7上eclipse连接hadoop,eclipse的配置和測试弄得烦躁的一逗比了~ 先上一张成功的图片,hadoop的伪分布式安装配置,仅仅要依照步骤来,有点基础的 基本没什么问题的..eclipse的配置 弄了非常长一段时间才弄好的,中间出现各种意外的错误..下篇博客将重点讲述这个艰难的过程... 今天来说说hadoop2.4的安装和配置吧~ 1.环境的准备: 系统:CentOS JDK版本号:jdk7 系统须要包括ssh…

安装环境: 系统:Ubuntu 14.10   64bit hadoop:2.5.1 jdk:1.8.0_11 安装步骤: 一.安装JDK 安装 jdk,并且配置环境以及设置成默认 sudo gedit /etc/profile 添加 export JAVA_HOME=/opt/javaexport JRE_HOME=/opt/java/jreexport CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/libexport PATH=$PATH:$…

本教程为单机版+伪分布式的Hadoop,安装过程写的有些简单,只作为笔记方便自己研究Hadoop用. 环境 操作系统 Centos 6.5_64bit   本机名称 hadoop001   本机IP 192.168.3.128   JDK jdk-8u40-linux-x64.rpm 点此下载 Hadoop 2.7.3 点此下载 Hadoop 有两个主要版本,Hadoop 1.x.y 和 Hadoop 2.x.y 系列,比较老的教材上用的可能是 0.20 这样的版本.Hadoop 2.x 版本在…

1.采用伪分布模式安装      将hadoop-****.tar.gz复制到linux的/usr/local目录下. 2.解压,重命名      #tar -xzvf hadoop-1.0.4.tar.gz        #mv hadoop-1.0.4 hadoop 3.配置环境变量      vi /etc/profile,在文件java_home后添加,export HADOOP_HOME=/usr/local/hadoop      在PATH后面添加:$HADOOP_HOME/bin…

hbase1.2.4 伪分布式安装   注意:在安装hbase或者hadoop的时候,要注意hadoop和hbase的对应关系.如果版本不对应可能造成系统的不稳定和一些其他的问题.在hbase的lib目录下可以看到hadoop对应jar文件,默认情况下hbase下lib的jar文件对应hadoop的相对稳定的版本.如果需要使用其他的hadoop版本,需要将hbase  lib下的hadoopjar包,替换掉需要使用的hadoop版本   下载:http://archive.apache.org/…

目录: 1.修改主机名和用户名 2.配置静态IP地址 3.配置SSH无密码连接 4.安装JDK1.7 5.配置Hadoop 6.安装Mysql 7.安装Hive 8.安装Hbase 9.安装Sqoop ******************** 5.配置Hadoop(伪分布式) (1)通过SecureCRT上传到Centos中/opt目录,并解压文件 tar  -zxvf hadoop-2.6.0-cdh.5.6.0 (2)[root@neusoft-master etc]# cd /opt/ha…

目录: 1.修改主机名和用户名 2.配置静态IP地址 3.配置SSH无密码连接 4.安装JDK1.7 5.配置Hadoop 6.安装Mysql 7.安装Hive 8.安装Hbase 9.安装Sqoop ********************  1.修改主机名和用户名 修改主机名:Centos中通过vi /etc/sysconfig/network 修改HOSTNAME= 为了使Hadoop节点之间能互相访问,需要修改hosts文件,root用户执行并且所有节点均需执行 vi /etc/host…

一. 概要        经过几天的调试,终于在Linux Cent OS 5.5下成功搭建Hadoop测试环境.本次测试在一台服务器上进行伪分布式搭建.Hadoop 伪分布式模式是在单机上模拟 Hadoop 分布式,单机上的分布式并不是真正的伪分布式,而是使用线程模拟分布式.Hadoop 本身是无法区分伪分布式和分布式的,两种配置也很相似,唯一不同的地方是伪分布式是在单机器上配置,数据节点和名字节点均是一个机器.虽然Hadoop的 安装步骤并不复杂,但是我在安装期间还是遇到了很多琐碎的问题,现…

目录: 1.修改主机名和用户名 2.配置静态IP地址 3.配置SSH无密码连接 4.安装JDK1.7 5.配置Hadoop 6.安装Mysql 7.安装Hive 8.安装Hbase 9.安装Sqoop ******************** 为什么要安装Mysql?  因为Hive的元数据和数据是分开存放的,数据存放在HDFS中,元数据默认存储在Derby数据库中. 但是由于Derby数据库只支持同时一个用户访问Hive,因此将数据库的配置更改为Mysql. 6.安装Mysql (1)安装My…

1.1 设置ip地址    执行命令    service network restart    验证:         ifconfig1.2 关闭防火墙    执行命令    service iptables stop    验证:        service iptables status1.3关闭防火墙的自动运行    执行命令    chkconfig iptables off    验证:        chkconfig --list | grep iptables1.4 设置主…

注:以下截图针对Ubuntu操作系统,对Centos步骤类似.请读者选择不同镜像即可. 第一部分:VMware WorkStation10 安装 1.安装好VMware10虚拟机软件并下载好Ubuntu16.04 LTS 64位版的镜像包 2.打开VMware10虚拟机软件,选择“创建新的虚拟机”   3.虚拟机创建过程 3-1)在“新建虚拟机向导”窗口中,选择“自定义”然后下一步 3-2)硬件兼容性选择“Workstation10.0”下一步 3-3)选择“稍后安装操作系统”下一步 3-4)在…

1)关闭禁用防火墙: /etc/init.d/iptables status 会得到一系列信息,说明防火墙开着. /etc/rc.d/init.d/iptables stop 关闭防火墙 2)禁用SELinux: 查看SELinux状态: 1./usr/sbin/sestatus -v      ##如果SELinux status参数为enabled即为开启状态 SELinux status:                 enabled 2.getenforce              …

一. 基本环境搭建 1. 设置主机名.静态IP/DNS.主机映射.windows主机映射(方便ssh访问与IP修改)等 设置主机名: vi /etc/sysconfig/network # 重启系统生效(临时修改: hastname xxx;另起一个终端将会看到效果,需要注意的是: 若即将搭建Hadoop,这里起的hostname禁止使用"_") 设置静态IP/DNS: vi /etc/sysconfig/network-scripts/ifcfg-eth0(示例:修改BOOTPROT…

一.环境 操作系统:CentOS 6.5 64位操作系统  注:Hadoop2.0以上采用的是jdk环境是1.7,Linux自带的jdk卸载掉,重新安装 下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html 软件版本:hadoop-2.3.0-cdh5.1.0.tar.gz, zookeeper-3.4.5-cdh5.1.0.tar.gz 下载地址:http://archive.cloudera.com/c…

一.ubuntu 15.04.openjdk1.7.tomcat7环境配置 1. 配置openjdk1.7,输入命令: -jdk 2. 查看java是否安装成功,输入命令: envjava -version 3. 查看jdk真实安装路径,如果是解压安装则用whereis java update-alternatives --config java 4. 配置java环境变量,在/etc/profile文件下加入以下代码 export JAVA_HOME=/usr/lib/jvm/java--op…

环境:centos 6.6 + hadoop2.6 虚拟机:(vmware fusion 7.0.0) 虚拟机hostname      /    IP地址 master / 192.168.187.102 slave01 / 192.168.187.103 slave02 / 192.168.187.104 注:前三个步骤都是准备工作,如果已经完成,可直接进入步骤四 步骤一: 先在3台虚拟机上,设置hostname及修改hosts文件 1.1 先正确设置各虚拟机的hostname sudo v…

配置linux基本环境: --> java.ip.hostname.hosts.iptables.chkconfig.ssh环境配置 hadoop2.2安装在linux64位机器上,需要对源码进行编译: 首先安装google的protobuf yum install glibc-header yum install gcc yum install gcc-c++ yum install make yum install cmake yum install openssl-devel yum in…

1.HBase简介 HBase是Apache Hadoop中的一个子项目,Hbase依托于Hadoop的HDFS作为最基本存储基础单元,通过使用hadoop的DFS工具就可以看到这些这些数据 存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作,如右侧的图所示: HBase在产品中还包含了Jetty,在HBase启动时采用嵌入式的方式来启动Jetty,因此可以通过web界面对HBase进行管理和查看当前运行的一些状态,非常轻巧. 2.为什么采用HBase? HBas…

基本安装步骤 安装包下载 从大数据组件下载地址下载以下组件安装包 hadoop-2.6.0-cdh5.6.0.tar.gz hbase-1.0.0-cdh5.6.0.tar.gz zookeeper-3.4.5-cdh5.6.0.tar.gz 从java下载地址下载以下组件安装包 jdk-8u144-linux-x64.tar.gz java环境 解压 tar zxvf jdk-8u144-linux-x64.tar.gz 配置环境变量 vim /etc/profile export JAVA_…

本次安装运行过程使用的是Ubuntu16.04 64位+Hadoop2.5.2+jdk1.7.0_75 Notice: Hadoop2.5.2版本默认只支持64位系统 使用的jdk可以为1.7和1.8版本的 安装过程: 1. 下载安装jdk1.7.0_75 jourluohua@jourluohua-m:~/tools$ tar -xzvf jdk-7u75-linux-x64.tar.gz 2. 设置PATH等环境变量 jourluohua@jourluohua-m:~/tools$ sudo…

local模式: 把安装包 解压到 /usr/local  下 [hadoop@master local]$ sudo tar -zxvf hadoop-2.7.3.tar.gz   创建一个软连接 [hadoop@master local]$ sudo ln -s hadoop-2.7.3 hadoop   增加环境变量 [hadoop@master local]$ vi ~/.bash_profile  增加 export JAVA_HOME=/usr/ export HADOOP_HOME…