安装hadoop需要jdk依赖,我这里是用jdk8 jdk版本:jdk1.8.0_151 hadoop版本:hadoop-2.5.0-cdh5.3.6 hadoop下载地址:链接:https://pan.baidu.com/s/1qZNeVFm 密码:ciln jdk下载地址:链接:https://pan.baidu.com/s/1qZLddl6 密码:c9w3 一切准备好以后,开始安装 1.上传hadoop软件包和jdk软件包到Linux系统指定目录:/opt/softwares/cdh 2.…

需要的软件包:zookeeper-3.4.5-cdh5.3.6.tar.gz  1.将软件包上传到Linux系统指定目录下: /opt/softwares/cdh 2.解压到指定的目录:/opt/modules/cdh/ $ tar -zxvf /opt/softwares/zookeeper-3.4.5-cdh5.3.6.tar.gz  -C  /opt/modules/cdh/ 3.进入zookkeeper目录,创建存放数据的目录 $ mkdir zkData 4.在conf目录里 $ cp…

一．实验目的 1. 掌握Linux虚拟机的安装方法. 2. 掌握Hadoop的伪分布式安装方法. 二．实验内容 (一)Linux基本操作命令 Linux常用基本命令包括: ls,cd,mkdir,rm,man,cat,ssh,yum,vim,vi等. (二)安装JDK Hadoop是Java实现的,运行在Java虚拟机上,安装JDK并设置JAVA环境变量. (三)配置各节点间无密码验证 Hadoop集群的启动需要通过SSH启动各从节点,需要配置各节点之间SSH无密码验证. (四)配置和启动Had…

查看IP地址,设为手动模式: 配置hadoop用户sudo权限 su切换到root身份,配置vim /etc/sudoers文件,加入 hadoop ALL=(root)NOPASSWD:ALL     配置/opt文件夹的属主 将/opt文件夹的属于由root:root改为hadoop sudo -R hadoop:hadoop /opt 关闭防火墙和禁用SELinux # service iptables stop # vim /etc/sysconfig/selinux 设置 SELINU…

docker 1.下载docker镜像 docker pull registry.cn-hangzhou.aliyuncs.com/kaibb/hadoop:latest 注:此镜像为阿里云个人上传镜像,比较符合目前我的需求,镜像为搭建好的hadoop环境,见https://dev.aliyun.com/detail.html?spm=5176.1972343.2.14.Q2Swxa&repoId=4030 2.运行docker镜像 docker run -itd --name hadoop -…

sqoop安装需要提前安装好sqoop依赖:hadoop .hive.hbase.zookeeper hadoop安装步骤请访问:http://www.cnblogs.com/xningge/articles/8433297.html hive安装步骤请访问:http://www.cnblogs.com/xningge/p/8433792.html hbase安装步骤请访问: zookeeper安装步骤请访问:http://www.cnblogs.com/xningge/p/8433618.ht…

hive依赖hadoop 需要的软件包:hive-0.13.1-cdh5.3.6.tar.gz .hadoop-2.5.0-cdh5.3.6.tar.gz 1.hadoop的安装步骤请访问: http://www.cnblogs.com/xningge/articles/8433297.html 2.将hive软件包上传到Linux系统指定的目录:/opt/softwares/cdh 3.解压hive-0.13.1-cdh5.3.6.tar.gz到指定的目录:/opt/modules/cdh/…

hue下载地址:https://github.com/cloudera/hue hue学习文档地址:http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/manual.html 我目前使用的是hue-3.7.0-cdh5.3.6 hue(HUE=Hadoop User Experience) Hue是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apach…

原文地址: http://blog.csdn.net/salonzhou/article/details/47401069 简介 Apache Zookeeper 是由 Apache Hadoop 的 Zookeeper 子项目发展而来,现在已经成为了 Apache 的顶级项目.Zookeeper 为分布式系统提供了高效可靠且易于使用的协同服务,它可以为分布式应用提供相当多的服务,诸如统一命名服务,配置管理,状态同步和组服务等.Zookeeper 接口简单,开发人员不必过多地纠结在分布式系统编程…

1.Hadoop运行模式Hadoop有三种运行模式,分别如下:单机(非分布式)模式伪分布式(用不同进程模仿分布式运行中的各类节点)模式完全分布式模式注:前两种可以在单机运行,最后一种用于真实的集群环境,通常用在生产环境上.我们可以搭建本地的伪分布式模式来模拟分布式环境的执行. 2.Hadoop的安装及配置环境:Ubuntu10.10,Hadoop 0.21.0安装步骤如下:1.准备工作:1).安装ssh server,如何安装ssh server请看http://www.tieguanyin16…