前言

      Hadoop是基于Java语言开发的,具有很好跨平台的特性。Hadoop的所要求系统环境适用于Windows,Linux,Mac系统,我们推荐选择使用Linux或Mac系统。而Linux系统则可以在Windows上使用虚拟机或双系统安装使用。如果选择Linux,我们需要首先安装好Linux系统,然后在Linux系统的基础上,安装Hadoop。

      在这里我选用的虚拟机中安装。由于UBuntu界面化较好,再加上自己是新手,所以我采用UBuntu操作系统。

ubuntu在虚拟机下的安装

  一、系统下载地址

      64位Ubuntu LTS 14.04的下载地址    下载地址

  二、系统安装(因为整体安装的操作基本都是以厦门大学数据库实验室的指导教程所参考安装,所以在此提供关于在VirtualBox(虚拟化工具)安装Ubuntu、Hadoop的安装及配置、HDFS中Eclipse的安装 等详细的安装步骤的教程地址 之后着重对安装过程中存在问题进行说明)

        提示:

   Linux系统的安装主要有两种方式:虚拟机安装和双系统安装,由于虚拟机安装和使用Linux的硬件配置比较高,我们建议电脑比较新或者配置内存4G以上的电脑可以选择虚拟机安装,电脑较旧或配置内存小于等于4G的电脑强烈建议选择双系统安装,否则,在配置较低的计算机上运行LInux虚拟机,系统运行速度会非常慢.

  前期准备:

     1.因为要在虚拟机中安装,所以要先安装虚拟化工具VirtualBox、VMVare等,我安装的是VirtualBox。

        VirtualBox的百度网盘下载地址

链接: https://pan.baidu.com/s/1p_uzSA2nDJljUDqR8L4XOA 提取码: hp1p

安装过程:

①在Windows中使用VirtualBox安装Ubuntu

http://dblab.xmu.edu.cn/blog/337-2/

  注意问题:

                (1)在安装VirtualBox虚拟机时,可能会弹出一些窗口询问是否要安装某些软件,一定要点击同意安装,否则,虚拟机不能正常运行。
                (2)卸载虚拟机时,切不可直接在文件夹里删除,应该点击安装包,通过安装程序的“卸载”功能完成卸载。
     (3)如果直接在文件夹中删除了虚拟机,导致虚拟机无法运行,建议下载360安全助手,彻底清理注册表后,再次安装。
     (4)在VirtualBox创建虚拟电脑,建议安装Ubuntu16.04,不要安装CentOS,这样可以和林子雨老师课程实验环境完全吻合,同时注意要创建用户名hadoop。

                (5)可能有些同学进行网络连接时会出现第一次可以连上网(wifi),当连接网线时无法正常连接网络,将虚拟机外的网络设置为以下属性即可:

      

Hadoop的安装及配置

        在成功安装Linux系统后,开始进行Hadoop环境的搭建

    在Ubuntu14.04系统下的Hadoop安装教程及单机/伪分布式配置

http://dblab.xmu.edu.cn/blog/install-hadoop/

注意问题:

      ① 安装Java环境时,JAVA_HOME的路径要编辑正确,修改一次,需要让环境变量生效一次。

        

                       ②相对路径与绝对路径的区别,请务必注意命令中的相对路径与绝对路径,教程中出现的 ./bin/..../etc/... 等包含 ./ 的路径,均为相对路径,以 /usr/local/hadoop 为当前目录。例如在 /usr/local/hadoop 目录中执行 ./bin/hadoop version 等同于执行 /usr/local/hadoop/bin/hadoop version。可以将相对路径改成绝对路径来执行,但如果你是在主文件夹 ~ 中执行 ./bin/hadoop version,执行的会是 /home/hadoop/bin/hadoop version,无法得到想要的结果,所以需要使用cd命令跳转到对应路径下执行相关命令。

                       ③运行Hadoop伪分布实例时出现内存不足的错,即运行MapReduce作业时无法正常完成,

                            这可能是因为此时你的电脑内存运行过于多、速度过于慢,退出,减轻内存消耗,重新执行即可。

    

分布式文件系统HDFS 学习指南

Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)是Hadoop核心组件之一,如果已经安装了Hadoop,其中就已经包含了HDFS组件,不需要另外安装。

详细教程

http://dblab.xmu.edu.cn/blog/290-2/

注意问题:

Eclipse的安装可直接在Ubuntu自带的应用商店直接下载,安装时间过长,为保证文件的完整性尽量使用校园网或网速较快的网络下载,耐心等候。

ubuntu在虚拟机下的安装 ~~~ Hadoop的安装及配置 ~~~ Hdfs中eclipse的安装的更多相关文章

  1. ubuntu系统虚拟机下共享文件夹

    一般情况 1.安装: sudo apt-get install open-vm-dkms     2.挂载: sudo mount -t vmhgfs .host:/ /mnt/hgfs 用以上命令安 ...

  2. Ubuntu 14.10 下Ganglia监控Hadoop集群

    前提是已经安装好Ganglia和Hadoop集群 1 Master节点配置hadoop-metrics2.properties # syntax: [prefix].[source|sink|jmx] ...

  3. 虚拟机下克隆3个centos系统并配置IP访问网络(转载)

    此文是保证linux系统能够上网 先查看本机的IP 打开虚拟机,更改虚拟机为桥接方式 在第一个虚拟机上打开终端,在命令行输入setup,选择NETWORK CONFIGRATION 回车后, 配置IP ...

  4. 安装Hadoop 2.7.3的过程中遇到的一些问题及解决方法。

    1. 启动hadoop 时发现namenode 没有启动起来 出现以下错误: Incorrect configuration: namenode address dfs.namenode.servic ...

  5. java中eclipse的安装和JDK的环境变量的配置以及记事本的使用

    2020-04-09 23:26:15 学习java的第一步当然就是环境配置了,java中的配置作为小白刚刚开始肯定会有点一点晕头转向的,开没等开始入门呢!就要准备放弃了.哈哈哈哈,没关系的,都是这么 ...

  6. ubuntu环境下eclipse的安装以及hadoop插件的配置

    ubuntu环境下eclipse的安装以及hadoop插件的配置 一.eclipse的安装 在ubuntu桌面模式下,点击任务栏中的ubuntu软件中心,在搜索栏搜索eclipse 注意:安装过程需要 ...

  7. 在ubuntu 15.04下安装VMware Tools

    提出问题:在Ubuntu 15. 04版本上,不能实现剪贴板的共享 解决方法:发现没有装VMware Tools 安装VMware Tools步骤 1. 点击菜单栏,虚拟机 → 安装VMware工具 ...

  8. 虚拟机下hadoop1.1.2安装(单机版)与(集群版)

    (1)我的电脑环境 CentOS6.5,64位,在虚拟机下实现. (2)jdk1.6的安装 jdk我用的是1.6.0_27,自己在网上下载jdk-6u27-linux-x64.zip 先在/usr/l ...

  9. Ubuntu 12.04下Hadoop 2.2.0 集群搭建(原创)

    现在大家可以跟我一起来实现Ubuntu 12.04下Hadoop 2.2.0 集群搭建,在这里我使用了两台服务器,一台作为master即namenode主机,另一台作为slave即datanode主机 ...

随机推荐

  1. Spring之byte[]传输

    事出原因 某些原因,需要在在服务之间传输文件,想到只有通过Byte数组,或者是Stream传递,遂定下两方法,一个byte,一个inpustream,老样子,upload(@RequestParam( ...

  2. 《算法技术手册》George T. Heineman(作者)epub+mobi+azw3

    内容简介 开发健壮的软件需要高效的算法,然后程序员们往往直至问题发生之时,才会去求助于算法.<算法技术手册>讲解了许多现有的算法,可用于解决各种问题.通过阅读它,可以使您学会如何选择和实现 ...

  3. Day2-F-A Knight's Journey POJ-2488

    Background The knight is getting bored of seeing the same black and white squares again and again an ...

  4. golang Context for goroutines

    概要 goroutine 的控制 取消控制 超时控制 goroutine 之间的传值 总结 概要 golang 的提供的 channel 机制是基于 CSP(Communicating Sequenc ...

  5. 【C#】关于左移/右移运算符的使用

    吐槽先~为什么我的老师大学时候没教过我这东西  - -. 继续送栗子: 比如 “(1+2)<<3” 你们猜等于几~ Debug.Log((1+2)<<3)之后输出的是“24”. ...

  6. Jenkins + git + maven 安装

    1.jenkins安装 sudo wget -O /etc/yum.repos.d/jenkins.repo http://pkg.jenkins-ci.org/redhat/jenkins.repo ...

  7. Elasticsearch的快速使用——Spring Boot使用Elastcisearch, 并且使用Logstash同步mysql和Elasticsearch的数据

    我主要是给出一些方向,很多地方没有详细说明.当时我学习的时候一直不知道怎么着手,花时间找入口点上比较多,你们可以直接顺着方向去找资源学习. 如果不是Spring Boot项目,那么根据Elastics ...

  8. 实践 Network Policy 【转】

    为了演示 Network Policy,我们先部署一个 httpd 应用,其配置文件 httpd.yaml 为: httpd 有三个副本,通过 NodePort 类型的 Service 对外提供服务. ...

  9. 无法删除oracle用户的问题

    http://blog.sina.com.cn/s/blog_684848d60101hj8a.html

  10. Java中遍历 Session 和 Request

    转: session的遍历: java.util.Enumeration e = request.getSession().getAttributeNames(); while( e.hasMoreE ...