要想深入的学习hadoop数据分析技术,首要的任务是必须要将hadoop集群环境搭建起来,可以将hadoop简化地想象成一个小软件,通过在各个物理节点上安装这个小软件,然后将其运行起来,就是一个hadoop分布式集群了. 说来简单,但是应该怎么做呢?不急,本文的主要目的就是让新手看了之后也能够亲自动手实施这些过程.由于本人资金不充裕,只能通过虚拟机来实施模拟集群环境,虽然说是虚机模拟,但是在虚机上的hadoop的集群搭建过程也可以使用在实际的物理节点中,思想是一样的.也如果你有充裕的资金,自己不…

1. 安装jdk:sudo apt-get install openjdk-6-jdk 2. 配置ssh:安装ssh:apt-get install openssh-server 为运行hadoop的用户生成一个SSH key:$ ssh-keygen -t rsa -P "" 让你可以通过新生成的key来登录本地机器:$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys 3. 安装hadoop:下载hadoop tar.gz包并解压:tar -z…

Hadoop在处理海量数据分析方面具有独天优势.今天花了在自己的Linux上搭建了伪分布模式,期间经历很多曲折,现在将经验总结如下. 首先,了解Hadoop的三种安装模式: 1. 单机模式. 单机模式是Hadoop的默认模.当配置文件为空时,Hadoop完全运行在本地.因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程.该模式主要用于开发调试MapReduce程序的应用逻辑. 2. 伪分布模式. Hadoop守护进程运行在本地机器上,模拟一个小规模的的集群.该…

Ubuntu 12.04上安装Hadoop并运行 作者:凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailugaji/ 在官网上下载好四个文件 在Ubuntu的/home/wrr/下创建一个文件夹java,将这四个文件拷到Ubuntu的/home/wrr/java/下,将eclipse.hadoop-2.7.6与jdk进行解压,将.iar文件复制到eclipse/plugins,将/jdk1.8.0_191/下的jre文件夹拷到eclipse中,如下图所示 在/home…

先决条件: Hadoop是用JAVA写的,所以首先要安装Java.在Ubuntu上安装JDK见:http://blog.csdn.net/microfhu/article/details/7667393 我下载的Hadoop版本号是2.4.1.要求至少安装JDK 6以上. Linux是唯一支持的生产环境.Unix.Windows或者Mac OS能够作为开发环境.在Windows上安装Hadoop须要Cygwin.而且在Cygwin里要包括openssh. 在Linux上安装Hadoop 到had…

首先要了解一下Hadoop的运行模式: 单机模式(standalone)        单机模式是Hadoop的默认模式.当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置.在这种默认模式下所有3个XML文件均为空.当配置文件为空时,Hadoop会完全运行在本地.因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程.该模式主要用于开发调试MapReduce程序的应用逻辑. 伪分布模式(Pseudo-Distributed…

[转自:]http://blog.csdn.net/hitwengqi/article/details/8008203 最近一直在自学Hadoop,今天花点时间搭建一个开发环境,并整理成文. 首先要了解一下Hadoop的运行模式: 单机模式(standalone)       单机模式是Hadoop的默认模式.当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置.在这种默认模式下所有3个XML文件均为空.当配置文件为空时,Hadoop会完全运行在本地.因为不…

一.前言 最近将整个电脑格式化,改成了linux操作系统 希望这样能让自己在一个新的世界探索技术.提升自己吧- win上的工具用多了,就不想变化了- 继上一篇<ubuntu上安装虚拟机遇到的问题(vmware坑了,virtual-box简单安装,在virtual-box中安装精简版win7)> link:http://www.cnblogs.com/zjutlitao/p/5061917.html 遇到的在ubuntu上装虚拟机坑之后,接下来又遇到了一个新的问题—— 如何在在ubuntu上安装…

到目前为止,Robomongo仍是MongoDB最好的客户端管理工具,如需在Ubuntu上安装Robomongo,可直接从官网下载.tar.gz压缩包进行解压,然后直接运行bin目录下的robomongo文件即可启动界面.例如我将下载下来的.tar.gz压缩包解压到/usr/local/share目录下,然后执行下面的命令: $ cd /usr/local/share/robomongo--rc8-linux-x86_64-c113244/bin/ $ ./robomongo 你当然不想每次都通…

在 Ubuntu 上安装 Android Studio http://www.linuxidc.com/Linux/2013-05/84812.htm 打开terminal,输入以下命令 sudo apt-add-repository ppa:paolorotolo/android-studio sudo apt-get update sudo apt-get install android-studio 如果要把Android Studio添加到启动栏,你需要如下操作 打开Android St…

在Ubuntu上安装Karma遇到超时 timeout 错误.Google了一下,国外的码农给了一个快捷的解决方案,实测可行,贴在这里: sudo apt-get install npm nodejsnpm cache cleannpm config set registry http://registry.npmjs.orgnpm install karma 上面高亮的这个设置是必要的,不能省略.…

1.安装Ubuntu上安装LAMP apt-get install lamp-server^ 2.安装过程中设置MySql密码 3.测试 创建index.php var/www/html/index.php index.php的内容为 <?php phpinfo(); ?> 重启apache, service apache2 restart 在浏览器中输入 http://localhost/index.php 或者localhost改为IP地址 5配置MYSql cat /etc/hosts…

参考文章https://hidekiitakura.com/2015/03/21/how-to-setup-sync-gateway-on-ubuntudigitalocean/ 在此对作者表示感谢 最近常在ubuntu上安装couchbase,以及配置couchbase sync gateway于是写下此文,作为安装过程的笔记. 第一步 安装couchbase server3.0.2 1.下载couchbase server couchbase server可以从couchbase的官方下载页…

一.前期准备 1. 在win7下载VMware.Ubuntu(用迅雷下比较快) 2. 安装完VMware后新建虚拟机,选择iso: 3. 具体配置参考如下,至此Ubantu安装完成 二.在Ubuntu上安装JDK 1. 先在win7下载jdk解压包,选择对应的文件下载: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 2. 将win7上下载的JDK文件复制到Ubuntu的Hom…

add by zhj:直接从第四步开始就可以了,而且安装好MongoDB后会自动启动的,不必自己去执行启动命令 原文:https://docs.mongodb.com/manual/tutorial/install-mongodb-on-ubuntu/ 一. 概述 通过这个教程,我们可以用.deb包在LTS Ubuntu上安装MongoDB社区版.虽然Ubuntu自己也有MongoDB包,但是官方的MongoDB社区版通常要更新一些. 注:平台支持 MongoDB只为64位 LTS Ubuntu…

Ubuntu上安装ns2-2.34 步骤1 下载ns-allinone-2.34 $ tar zxf ns-allinone-2.34.tar.gz 步骤2 sudo apt-get install build-essential    # GCC sudo apt-get install tcl8.4 tcl8.4-dev tk8.4 tk8.4-dev   # for TCL and TK sudo apt-get install libxmu-dev libxmu-headers    #…

为什么要折腾?首先说明的是ubuntu上安装mysql等软件是非常容易简单的,其简单的程度盖过windows上的安装,一句sudo apt-get install就可以搞定.如果想用最简便的方法安装mysql,那么本文不适合你;如果你喜欢“折腾”,有兴趣了解这一条sudo apt-get install帮你做了什么,有兴趣了解internal linux的细节并想尝试自己编译软件,那么你是本文的目标读者,希望你能从这篇文章中获得收获. 编译安装的几大步骤: 编译前的准备工作 初识CMAKE——配…

自:http://blog.csdn.net/neofung/article/details/6574002 Ubuntu上安装和使用SSH  网上有很多介绍在Ubuntu下开启SSH服务的文章,但大多数介绍的方法测试后都不太理想,均不能实现远程登录到Ubuntu上,最后分析原因是都没有真正开启ssh-server服务.最终成功的方法如下: Ubuntu 下安装 OpenSSH Server 是无比轻松的一件事情,需要的命令只有一条: sudo apt-get install openssh-s…

转载自:http://os.51cto.com/art/201307/405333.htm [2013年7月25日 51CTO外电头条]为何应该在Ubuntu上安装LAMP服务器?从事Web开发工作时,我更偏爱在不受干扰的情况下, 在我那台计算机上的开发环境下进行开发.我宁愿所犯的错误大部分是别人看不到的,而不是被互联网上的所有人全看到.为了能有这种私密的开发环境,我安装了 一套LAMP系统.顺便说一下,要是你对LAMP不熟悉,,它代表Linux.Apache.MySQL和php(及/或Perl…

使用PPA在Ubuntu上安装php5.4~5.6,7 sudo apt-get install software-properties-common sudo add-apt-repository ppa:ondrej/php5-5.6 sudo apt-get update sudo apt-get upgrade sudo apt-get install php5 如果你想安装PHP的特定版本,那么这篇文章可以帮助你.这篇文章将帮助您安装PHP 5.4和PHP 5.5 PHP 5.6,通过…

[2013年7月25日 51CTO外电头条]为何应该在Ubuntu上安装LAMP服务器?从事Web开发工作时,我更偏爱在不受干扰的情况下,在我那台计算机上的开发环境下进行开发.我宁愿所犯的错误大部分是别人看不到的,而不是被互联网上的所有人全看到.为了能有这种私密的开发环境,我安装了一套LAMP系统.顺便说一下,要是你对LAMP不熟悉,,它代表Linux.Apache.MySQL和php(及/或Perl). LAMP是互联网上最常见的Web主机托管平台之一,所以它是搭建和测试网站的出色环境之一.…

Ubuntu 上安装 Freemind 并支持中文 JAVA 运行时 Freemind 是一个使用 Java 编写的思维导图工具,在安装时,需要到 Java 运行时(使用 OpenJRE 或 OracleJRE ). 如果当前的环境变量中缺少了 JAVA_HOME ,会导致 Freemind 无法找到 JRE ,从而启动失败.可修改 ~/.bashrc,增加 export JAVA_HOME=<JRE路径> 如: export JAVA_HOME=/usr/lib/jvm/java-7-ora…

使用PPA(Personal Package Archive)在ubuntu上安装emacs 1添加 PPA 到 apt repository 中:   $ sudo add-apt-repository ppa:cassou/emacs   $ sudo apt-get update   2然后,可以使用apt-get方便地下载Emacs  $ sudo apt-get install emacs24 emacs24-el emacs24-common-non-dfsg    …

Ubuntu上安装jdk 1.使用wget命令或sft方式从oracle官方下载tar.gz格式的jdk1.7,由于ubuntu不支持rpm安装,需要转换,所以不选择rpm格式的jdk 2.使用tar -xvzf jdk-7u45-linux-i586.tar.gz解压到jdk-7u45-linux-i586 3.使用cp jdk-7u45-linux-i586 /usr/local/jdk 拷贝到/usr/local/jdk文件夹中 4.在/etc/profile.d目录中创建名为jdk.sh…

先不卖关子直接上图:Ubuntu 14.04.5 LTS Deb包下载地址: http://www.longene.org/download/WineQQ7.8-20151109-Longene.deb http://pan.baidu.com/s/1kTu9ZUZ 下载完成后双击会跳转到Ubuntu Software Center中安装,如果提示未经认证的deb包源请忽略继续安装:32位依赖库的问题请自行解决,可以百度或者谷歌关键字ubuntu 安装32 bit依赖库: 导语 本文的目的不在于…

简单说来就两步: 增加可执行权限 执行 事情是这样的,打算在 ubuntu 上安装一个 NetBeans IDE 来学习 Java,但是下载下来的文件是 .sh 格式的.图形界面下右键没有执行的选项.需要在终端下进行操作. 先看一下文件,发现默认是没有执行权限的:(前面的 -rw-rw-r-- 就是代表权限哦) 首先要 chmod,给它一个 'x' 也就是执行的权限,实现这个的命令有好多种:(chmod 是更改权限的指令) 结果: 发现已经有类执行权限,而且文件的颜色也变了,下面就可以运行喽:…

怎样在Ubuntu上安装最新版本号的Node.js 作者:chszs,转载需注明.博客主页:http://blog.csdn.net/chszs Node.js是一个软件平台,通经常使用于构建大规模的server端应用.Node.js使用JavaScript作为其脚本语言,因为其非堵塞I/O设计以及单线程事件循环机制,使得它能够交付超高的性能. Node.js包括了Google V8 JavaScript引擎,libuv库和核心库差点儿都是使用JavaScript编写的.libuv库提供了异步事…

在ubuntu 上安装k-vim 早就想好好改造一下自己使用的vim了!可惜各种配置都十分复杂,特别是涉及到C语言的语义补全,YouCompleteMe,总是出各种安装问题.今天有人推荐我使用k-vim,我一下子找到了完美的解决方案.但是在安装k-vim的过程中,依然出现了很多问题,有必要记录一下. 安装shaodowsocks-qt5 在安装shadowsocks-qt5的时候就遇到了问题.因为github给出的官方源出现了问题,无奈需要自己编译安装包.后来发现,可以在ubuntu包管理网站上…

在 Windows 上安装 Hadoop 教程 一见 2010.1.6 www.hadoopor.com/hadoopor@foxmail.com 1. 安装 JDK 不建议只安装 JRE,而是建议直接安装 JDK,因为安装 JDK 时,可以同时安装 JRE. MapReduce 程序的编写和 Hadoop 的编译都依赖于 JDK,光 JRE 是不够的. JRE 下载地址:http://www.java.com/zh_CN/download/manual.jsp JDK 下载地址:http://…

在 Ubuntu 上安装 MongoDB 运行下列命令,导入 MongoDB 公开 GPG 键: sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 7F0CEB10 使用下列命令,创建一个 /etc/apt/sources.list.d/mongodb.list 文件. echo 'deb http://downloads-distro.mongodb.org/repo/ubuntu-upstart dist 10…