ubuntu在虚拟机下的安装 ~~~ Hadoop的安装及配置 ~~~ Hdfs中eclipse的安装
前言
Hadoop是基于Java语言开发的,具有很好跨平台的特性。Hadoop的所要求系统环境适用于Windows,Linux,Mac系统,我们推荐选择使用Linux或Mac系统。而Linux系统则可以在Windows上使用虚拟机或双系统安装使用。如果选择Linux,我们需要首先安装好Linux系统,然后在Linux系统的基础上,安装Hadoop。
在这里我选用的虚拟机中安装。由于UBuntu界面化较好,再加上自己是新手,所以我采用UBuntu操作系统。
ubuntu在虚拟机下的安装
一、系统下载地址
64位Ubuntu LTS 14.04的下载地址 下载地址
二、系统安装(因为整体安装的操作基本都是以厦门大学数据库实验室的指导教程所参考安装,所以在此提供关于在VirtualBox(虚拟化工具)安装Ubuntu、Hadoop的安装及配置、HDFS中Eclipse的安装 等详细的安装步骤的教程地址 之后着重对安装过程中存在问题进行说明)
提示:
Linux系统的安装主要有两种方式:虚拟机安装和双系统安装,由于虚拟机安装和使用Linux的硬件配置比较高,我们建议电脑比较新或者配置内存4G以上的电脑可以选择虚拟机安装,电脑较旧或配置内存小于等于4G的电脑强烈建议选择双系统安装,否则,在配置较低的计算机上运行LInux虚拟机,系统运行速度会非常慢.
前期准备:
1.因为要在虚拟机中安装,所以要先安装虚拟化工具VirtualBox、VMVare等,我安装的是VirtualBox。
VirtualBox的百度网盘下载地址
链接: https://pan.baidu.com/s/1p_uzSA2nDJljUDqR8L4XOA 提取码: hp1p
安装过程:
①在Windows中使用VirtualBox安装Ubuntu
http://dblab.xmu.edu.cn/blog/337-2/
注意问题:
(1)在安装VirtualBox虚拟机时,可能会弹出一些窗口询问是否要安装某些软件,一定要点击同意安装,否则,虚拟机不能正常运行。
(2)卸载虚拟机时,切不可直接在文件夹里删除,应该点击安装包,通过安装程序的“卸载”功能完成卸载。
(3)如果直接在文件夹中删除了虚拟机,导致虚拟机无法运行,建议下载360安全助手,彻底清理注册表后,再次安装。
(4)在VirtualBox创建虚拟电脑,建议安装Ubuntu16.04,不要安装CentOS,这样可以和林子雨老师课程实验环境完全吻合,同时注意要创建用户名hadoop。
(5)可能有些同学进行网络连接时会出现第一次可以连上网(wifi),当连接网线时无法正常连接网络,将虚拟机外的网络设置为以下属性即可:


Hadoop的安装及配置
在成功安装Linux系统后,开始进行Hadoop环境的搭建
在Ubuntu14.04系统下的Hadoop安装教程及单机/伪分布式配置
http://dblab.xmu.edu.cn/blog/install-hadoop/
注意问题:
① 安装Java环境时,JAVA_HOME的路径要编辑正确,修改一次,需要让环境变量生效一次。


②相对路径与绝对路径的区别,请务必注意命令中的相对路径与绝对路径,教程中出现的 ./bin/...,./etc/... 等包含 ./ 的路径,均为相对路径,以 /usr/local/hadoop 为当前目录。例如在 /usr/local/hadoop 目录中执行 ./bin/hadoop version 等同于执行 /usr/local/hadoop/bin/hadoop version。可以将相对路径改成绝对路径来执行,但如果你是在主文件夹 ~ 中执行 ./bin/hadoop version,执行的会是 /home/hadoop/bin/hadoop version,无法得到想要的结果,所以需要使用cd命令跳转到对应路径下执行相关命令。
③运行Hadoop伪分布实例时出现内存不足的错,即运行MapReduce作业时无法正常完成,
这可能是因为此时你的电脑内存运行过于多、速度过于慢,退出,减轻内存消耗,重新执行即可。
分布式文件系统HDFS 学习指南
Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)是Hadoop核心组件之一,如果已经安装了Hadoop,其中就已经包含了HDFS组件,不需要另外安装。
详细教程
http://dblab.xmu.edu.cn/blog/290-2/
注意问题:
Eclipse的安装可直接在Ubuntu自带的应用商店直接下载,安装时间过长,为保证文件的完整性尽量使用校园网或网速较快的网络下载,耐心等候。
ubuntu在虚拟机下的安装 ~~~ Hadoop的安装及配置 ~~~ Hdfs中eclipse的安装的更多相关文章
- ubuntu系统虚拟机下共享文件夹
一般情况 1.安装: sudo apt-get install open-vm-dkms 2.挂载: sudo mount -t vmhgfs .host:/ /mnt/hgfs 用以上命令安 ...
- Ubuntu 14.10 下Ganglia监控Hadoop集群
前提是已经安装好Ganglia和Hadoop集群 1 Master节点配置hadoop-metrics2.properties # syntax: [prefix].[source|sink|jmx] ...
- 虚拟机下克隆3个centos系统并配置IP访问网络(转载)
此文是保证linux系统能够上网 先查看本机的IP 打开虚拟机,更改虚拟机为桥接方式 在第一个虚拟机上打开终端,在命令行输入setup,选择NETWORK CONFIGRATION 回车后, 配置IP ...
- 安装Hadoop 2.7.3的过程中遇到的一些问题及解决方法。
1. 启动hadoop 时发现namenode 没有启动起来 出现以下错误: Incorrect configuration: namenode address dfs.namenode.servic ...
- java中eclipse的安装和JDK的环境变量的配置以及记事本的使用
2020-04-09 23:26:15 学习java的第一步当然就是环境配置了,java中的配置作为小白刚刚开始肯定会有点一点晕头转向的,开没等开始入门呢!就要准备放弃了.哈哈哈哈,没关系的,都是这么 ...
- ubuntu环境下eclipse的安装以及hadoop插件的配置
ubuntu环境下eclipse的安装以及hadoop插件的配置 一.eclipse的安装 在ubuntu桌面模式下,点击任务栏中的ubuntu软件中心,在搜索栏搜索eclipse 注意:安装过程需要 ...
- 在ubuntu 15.04下安装VMware Tools
提出问题:在Ubuntu 15. 04版本上,不能实现剪贴板的共享 解决方法:发现没有装VMware Tools 安装VMware Tools步骤 1. 点击菜单栏,虚拟机 → 安装VMware工具 ...
- 虚拟机下hadoop1.1.2安装(单机版)与(集群版)
(1)我的电脑环境 CentOS6.5,64位,在虚拟机下实现. (2)jdk1.6的安装 jdk我用的是1.6.0_27,自己在网上下载jdk-6u27-linux-x64.zip 先在/usr/l ...
- Ubuntu 12.04下Hadoop 2.2.0 集群搭建(原创)
现在大家可以跟我一起来实现Ubuntu 12.04下Hadoop 2.2.0 集群搭建,在这里我使用了两台服务器,一台作为master即namenode主机,另一台作为slave即datanode主机 ...
随机推荐
- C 随机数产生
// ConsoleApplication5.cpp : Defines the entry point for the console application. // #include " ...
- Java中的协变与逆变
Java作为面向对象的典型语言,相比于C++而言,对类的继承和派生有着更简洁的设计(比如单根继承). 在继承派生的过程中,是符合Liskov替换原则(LSP)的.LSP总结起来,就一句话: 所有引用基 ...
- eclipse js文件无法保存错误
错误信息如下 Save Failedjdk.nashorn.internal.runtime.ECMAException.getEcmaError()Ljava/lang/Object; 网上多番查找 ...
- Django 3.0 中连接mysql 8.0,可以不使用pymysql ,升级Mysqlclient即可
python 中,连接mysql一般都推荐用pymysql ,而且在django中,网上的教程都是这么连接mysql的. import pymysql pymysql.install_as_MySQL ...
- 「NOIP2010」引水入城
传送门 Luogu 解题思路 第一问很好做,只要总第一行的每一个点都跑一边dfs,判断最后一行是否有点标记不了即可. 考虑处理第二问. 其实这一问就是: 把第一行的点都看做是对最后一行一些点的覆盖,求 ...
- 【转】深入分析JAVA IO(BIO、NIO、AIO)
IO的基本常识 1.同步 用户进程触发IO操作并等待或者轮询的去查看IO操作是否完成 2.异步 用户触发IO操作以后,可以干别的事,IO操作完成以后再通知当前线程继续处理 3.阻塞 当一个线程调用 r ...
- 题解 loj2065 「SDOI2016」模式字符串
点分治. 考虑经过当前分治中心\(u\)的点对数量. 这种数点对数的问题,有一个套路.我们可以依次考虑\(u\)的每个儿子,看用当前的儿子,能和之前已经考虑过的所有儿子,组成多少点对.这样所有合法的点 ...
- 51nod 1009:数字1的数量
1009 数字1的数量 基准时间限制:1 秒 空间限制:131072 KB 分值: 5 难度:1级算法题 收藏 关注 给定一个十进制正整数N,写下从1开始,到N的所有正数,计算出其中出现所有1的个 ...
- 有没有比NRF51822更好的智能穿戴蓝牙方案
现在在智能穿戴领域市场不断的追求低功耗.低成本的蓝牙芯片.蓝牙芯片目前除了Dialog公司研制蓝牙芯片是最求超低功耗的但是对于其它性能上还比较满足不了其它领域的功能,另外NORDIC.TI的蓝牙芯片虽 ...
- blog编辑技巧
blog里添加目录 添加版权声明 其他 更新日志: 20190719, 添加目录,增加章节:[添加版权声明] blog里添加目录 https://szosoft.blogspot.com/需要使用绝对 ...