Hadoop学习笔记(3) ——分布式环境搭建 前面,我们已经在单机上把Hadoop运行起来了,但我们知道Hadoop支持分布式的,而它的优点就是在分布上突出的,所以我们得搭个环境模拟一下. 在这里,我们采用这样的策略来模拟环境,我们使用3台ubuntu机器,1台为作主机(master),另外2台作为从机(slaver).同时,这台主机,我们就用第一章中搭建好的环境来. 我们采用与第一章中相似的步骤来操作: 运行环境搭建 在前面,我们知道,运行hadoop是在linux上运行的.所以我们单机就在…

从字面上来看,ZooKeeper表示动物园管理员,这是一个十分奇妙的名字,我们又想起了Hadoop生态系统中,许多项目的Logo都采用了动物,比如Hadoop采用了大象的形象,所以我们可以猜测ZooKeeper就是对这些动物进行一些管理工作的. 一.ZooKeeper基础介绍 1.1 动物园也要保障安全 zookeeper是hadoop下面的一个子项目,用来协调跟hadoop相关的一些分布式的框架,如hadoop, hive, pig等, 其实他们都是动物,所以叫zookeeper ——“动物园…

一.准备虚拟环境 1. 虚拟环境网络设置 A.安装VMware软件并安装linux环境,本人安装的是CentOS B.安装好虚拟机后,打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet8 -> 属性.设置IPv4,设置如下: C.在创建好的虚拟机上点击网络设置,选择自定义并设置成“VMnet8(NAT)”如下图所示: D.修改VMware软件网络设置,设置方式如下所示: 2.  修改主机名 命令:vi /etc/sysconfig/network 将内容修改为 NETWORK…

linux中/opt一般用来存放应用/var目录一般用来存放日志 sample为样例文件,复制一份zoo.cfg文件 配置zoo文件,id为服务器id(整数),host为服务器的ip地址,第一个port为follow的端口,第二个port为leader选举端口,输入任意可用值即可 创建一个zookeeper目录,用来存放日志,而后修改zoo文件中dataDir配置: 在目录下新建一个myid文件,里面写入该服务器的server后的id: 而后再另外两台做相同操作,但是myid中的数字需要作出修改…

Nutch1.7学习笔记:基本环境搭建及使用 作者:雨水,时间:2013-10-31博客地址:http://blog.csdn.net/gobitan 说明:Nutch有两个主版本1.x和2.x,它们的主要区别是2.x引入了Gora作为存储抽象层,从而支持各种NoSQL数据库,如HBase,Cassandra等.本文是以1.x的最新版Nutch1.7 (发布于2013年6月25日)为例. 环境准备: 一台Ubuntu Linux服务器,可以装在VMware虚拟机中. 下载Nutch1.7版本的二…

目录 第一步  安装JDK 第二步 下载Eclipse 第三步 在Eclipse中安装TestNG 第四步 下载Selenium IDE.SeleniumRC.IEDriverServer 第五步 下载Firefox.安装Selenium IDE.firebug.Xpath checker.Xpath finder插件 第六步 启动SeleniumRC 第七步 Eclipse执行Selenium的Java实例 第八步 TestNG执行Selenium的Java实例 下载地址 第一步  安装JDK…

前面,我们已经在单机上把Hadoop运行起来了,但我们知道Hadoop支持分布式的,而它的优点就是在分布上突出的,所以我们得搭个环境模拟一下. 在这里,我们采用这样的策略来模拟环境,我们使用3台ubuntu机器,1台为作主机(master),另外2台作为从机(slaver).同时,这台主机,我们就用第一章中搭建好的环境来. 我们采用与第一章中相似的步骤来操作: 1.运行环境搭建 在前面,我们知道,运行hadoop是在linux上运行的.所以我们单机就在ubuntu上运行着.所以同样,2台从机,同…

学习的开始先剧透一下,本人有点笨,本来想用oracle vbox,装个red hat+oracle,但是虚拟机一直报错,0x00000000内存不能written.所以便想到其他的办法,刚好接触了golang,然后就知道了docker这个伟大的项目,所以本环境使用docker来搭建.省去了一大部分时间可以直接开始Oracle的学习. 特此留下笔记,以供参考.... 工具:一共需要三个工具 docker-install.exe DockerToolbox-1.12.0.exe SecureCRT.…

本文为<Flink大数据项目实战>学习笔记,想通过视频系统学习Flink这个最火爆的大数据计算框架的同学,推荐学习课程: Flink大数据项目实战:http://t.cn/EJtKhaz 1. 创建Flink项目及依赖管理 1.1创建Flink项目 官网创建Flink项目有两种方式: https://ci.apache.org/projects/flink/flink-docs-release-1.6/quickstart/java_api_quickstart.html 方式一: mvn a…

1.安装环境 ①.一台Linux CentOS6.7 系统 hostname                ipaddress              subnet mask                  geteway  Node1 192.168.139.150 255.255.255.0 192.168.139.2 ②.hadoop 2.7 安装包 百度云下载链接:http://pan.baidu.com/s/1gfaKpA7密码:3cl7 2.安装 JDK 教程:http://ww…