Hadoop操作前准备工作
摘要:本文介绍Hadoop操作前的准备工作。
关键词:Hadoop Linux JDK WinSCP
俗语说,“磨刀不误砍柴工”。Hadoop操作前的准备工作可以加快Hadoop的操作与应用。
Hadoop操作前准备工作,概括如下。
第一 GNU/Linux环境构建。
关于Linux环境构建,可以直接在计算机上安装Linux,或者基于Windows下的虚拟化安装Linux,常用的虚拟化软件有VMware或者VirtualBox。
如何在VMware下安装Linux,请阅读文章:RedHat CentOS 在VMware下的安装。
如何在VirtualBox下安装Linux,请阅读文章:RedHat CentOs 在VirtualBox下的安装。
第二 准备相关软件
1 Linux 环境下的JDK软件,建议选择Sun公司发行的JDK6.0版本。
具体下载地址如下:
http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase6-419409.html
2 Hadoop软件包,目前Hadoop有这些版本型号。
- 1.2.X - current stable version, 1.2 release
- 2.2.X - current stable 2.x version
- 2.3.X - current 2.x version
- 0.23.X - similar to 2.X.X but missing NN HA.
作者现在使用Hadoop 1.2.1 软件包,它的具体下载地址如下:
http://apache.fayea.com/apache-mirror/hadoop/common/hadoop-1.2.1/
3 小工具WinSCP, What is WinSCP? WinSCP is a useful open source FTP client for transferring files between local and remote computer safely,因而可以安全方便地实现Windows环境和Linux环境之间的数据相互传送。下载地址:
http://winscp.joydownload.com/?c=4&gclid=CNXM3I_z67wCFS2t4godkhUAvQ
Source:
1 http://www.wangluqing.com/2014/02/hadoop-prepare/
2 http://hadoop.apache.org/docs/r1.2.1/single_node_setup.html
3 http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html
Hadoop操作前准备工作的更多相关文章
- 无责任Windows Azure SDK .NET开发入门篇一[Windows Azure开发前准备工作]
一.Windows Azure开发前准备工作 首先我们需要了解什么是 Azure SDK for .NET?微软官方告诉我们:Azure SDK for .NET 是一套应用程序,其中包括 Visua ...
- 本地通过Eclipse链接Hadoop操作Mysql数据库问题小结
前一段时间,在上一篇博文中描述了自己抽时间在构建的完全分布式Hadoop环境过程中遇到的一些问题以及构建成功后,通过Eclipse操作HDFS的时候遇到的一些问题,最近又想进一步学习学习Hadoop操 ...
- Tutorial 01_熟悉常用的Linux操作和Hadoop操作
(一)熟悉常用的Linux 操作cd 命令:切换目录 (1) 切换到目录“/usr/local” (2) 切换到当前目录的上一级目录 (3) 切换到当前登录Linux 系统的用户的自己的主文件夹 ...
- 无责任Windows Azure SDK .NET开发入门篇(一):开发前准备工作
Windows Azure开发前准备工作 什么是 Azure SDK for .NET?微软官方告诉我们:Azure SDK for .NET 是一套应用程序,其中包括 Visual Studio 工 ...
- VMware15.5虚拟机安装及LInux系统安装前 准备工作
VMware15.5虚拟机安装及Linux系统安装前 准备工作 一.vmware15.5安装 1.安装环境准备 1.vmware15.5版本和秘钥(版本资源和密钥小白已经上传到资源文档里面,要想下载可 ...
- [转]js中confirm实现执行操作前弹出确认框的方法
原文地址:http://www.jb51.net/article/56986.htm 本文实例讲述了js中confirm实现执行操作前弹出确认框的方法.分享给大家供大家参考.具体实现方法如下: 现在在 ...
- Hadoop操作hdfs的命令【转载】
本文系转载,原文地址被黑了,故无法贴出原始链接. Hadoop操作HDFS命令如下所示: hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs –ls 列出目录及文件信息 ...
- VBS实现批量重命名文件并且操作前备份原有文件
'=========================================================================='' VBScript Source File - ...
- Spring学习总结(16)——Spring AOP实现执行数据库操作前根据业务来动态切换数据源
深刻讨论为什么要读写分离? 为了服务器承载更多的用户?提升了网站的响应速度?分摊数据库服务器的压力?就是为了双机热备又不想浪费备份服务器?上面这些回答,我认为都不是错误的,但也都不是完全正确的.「读写 ...
随机推荐
- ASP.NET调用dos命令获取交换机流量
protected void btn_Cisco_Click(object sender, EventArgs e) { try { string ip = txt_ip.Value; string ...
- Linux下搜索文件
使用linux系统难免会忘记文件所在的位置,可以使用以下命令对系统中的文件进行搜索.搜索文件的命令为"find":"locate":"whereis& ...
- XSD与C#Code以及XML之间的相互关心
------------------------------网上参考资料 C# 利用自带xsd.exe工具操作XML-如通过XML生成xsd文件:http://blog.sina.com.cn/s/b ...
- mysql 视图,事务,存储过程,触发器
一 视图 视图是一个虚拟表(非真实存在),是跑到内存中的表,真实表是硬盘上的表.使用视图我们可以把查询过程中的临时表摘出来,保存下来,用视图去实现,这样以后再想操作该临时表的数据时就无需重写复杂的sq ...
- ASP.NET的内置对象 —— Request 对象
Request 对象最大的用途在于提交表单信息. (可获取页面间传递的值.客户端的 IP 地址等) 3.2.2 获取页面间传送的值 获取页面传送参数值是 Request 对象最广泛的应用之一. ASP ...
- Java远程调试 java -Xdebug各参数说明
JAVA自身支持调试功能,并提供了一个简单的调试工具--JDB,类似于功能强大的GDB,JDB也是一个字符界面的 调试环境,并支持设置断点,支持线程线级的调试 JAVA的调试方法如下: 1.首先支持J ...
- python的日志模块logging和syslog
syslog模块是在unix环境下工作的模块,不能用于windows,在windows环境下可以使用logging模块. 一.syslog syslog模块可以用于记录系统运行的信息,这个模块提供的方 ...
- 跟我一起学习ASP.NET 4.5 MVC4.0(一)
跟我一起学习ASP.NET 4.5 MVC4.0(一) 由于上面一个项目使用的是ASP.NET4.0 MVC3.0,在招人的时候发现很多人有听说过MVC,但是却是没用过,对MVC也只是一知半解,最 ...
- (zz)设置单元格的宽度和高度
(zz)设置单元格的宽度和高度 博客分类: POI生成Excel 在Excel中,单元格的宽度其实就是列的宽度,因为Excel假设这一列的单元格的宽度肯定一致.所以要设置单元格的宽度,我们就得从列 ...
- 获取URL中的链接(可中文也可英文)
//既能获取中文url也能英文function getUrlParam(key) { // 获取参数 var url = window.location.search; // 正则筛选地址栏 var ...