Hadoop学习笔记二
一、设置无密码sudo权限,不用在普通用户和root用户间来回切换
chmod u+w /etc/sudoers
vim /etc/sudoers
#首行添加如下的内容:
hadoop ALL=(root)NOPASSWD:ALL
再执行chmod u-w /etc/sudoers
设置成功,测试: hadoop用户执行sudo service iptables status
二、关闭防火墙,设置主机名等
关闭防火墙: chkconfig iptables offadoop
关闭SELinux:vi /etc/sysconfig/selinux 设置SELINUX=disable
设置IP地址:ifconfig查看那个端口的收发包数量不为0,假设为ifeth0,vi /etc/sysconfig/network-scripts/ifcfg-eth0
修改hostname:vi /etc/sysconfig/network
IP与hosts绑定:vi /etc/hosts
安装JDK并设置环境变量
三、不建议在32位服务器或者windows上部署Hadoop
四、Hadoop可以以下三种方式运行
单机方式,伪分布式方式,完全分布式方式
伪分布式方式(Pseudo-Distributed)有5个独立的进程,NameNode,DataNode,SecondaryNameNode,ResourceManager,NodeManger。
单机模式文件和mr都是在本地文件系统。伪分布式是运行在yarn之上。
五、RPC协议
Remote Procedure Call,远程过程调用协议。客户端发送带参数的请求,等待服务器返回的信息。
Hadoop体系是建立在RPC之上的,类似WebService,Restful,JSON rpc等。
六、四大核心模块:common,hdfs,mapreduce,yarn。对应的hdfs的4个主要的配置文件:core-site.xml,hdfs-site.xml,yarn-site.xml,mapred.xml。
七、第一次启动hadoop之前,需要对namenode 文件系统进行格式化。/bin/hdfs namenode -formate。
八、启动命令:
启动namnode:sbin/hadoop-daemon.sh start namenode
启动datanode:sbin/hadoop-daemon.sh start datanode
启动secondary: sbin/hadoop-daemon.sh start secondarynamenode
启动yarn resourcemanager:/sbin/yarn-daemon.sh start resourcemanager
启动yarn nodemanager:/sbin/yarn-daemon.sh start nodemanager
启动historyserver: /sbin/mr-history-deamon.sh start historyserver
关闭命令。start改为stop即可
运行简单的mapreduce: /bin/hadoop jar share/hadoop/mapredurce/hadoop-mapreduce-examples-2.6.0.jar pi 2 10
九、监控页面
ip:50070对应于HDFS的监控页面。
ip:8088对应于yarn的监控界面。
wordcount程序是2个mapreduce任务
十、MapReduce运行的几种方式
单机模式,运行在本地,输入输出在本地文件系统。
运行在本地,输入输出在HDFS之上。mapred.xml运行方式为local。是调试MapReduce的常用方式。
运行在yarn之上,输入输出在HDFS之上。mapred.xml运行方式为yarn。
Hadoop学习笔记二的更多相关文章
- Hadoop-HBASE案例分析-Hadoop学习笔记<二>
之前有幸在MOOC学院抽中小象学院hadoop体验课. 这是小象学院hadoop2.X概述第八章的笔记 主要介绍HBase,一个分布式数据库的应用案例. 案例概况: 1)时间序列数据库(OpenTSD ...
- hadoop 学习笔记二
NameNode的持久化(persistent)(day4,1) 类似于:Redis redis中的持久化文件是相互独立的当两个持久化文件同时存在时默认使用的是aof ,但是namenode 的持久化 ...
- Hadoop学习笔记—22.Hadoop2.x环境搭建与配置
自从2015年花了2个多月时间把Hadoop1.x的学习教程学习了一遍,对Hadoop这个神奇的小象有了一个初步的了解,还对每次学习的内容进行了总结,也形成了我的一个博文系列<Hadoop学习笔 ...
- Hadoop学习笔记(2)
Hadoop学习笔记(2) ——解读Hello World 上一章中,我们把hadoop下载.安装.运行起来,最后还执行了一个Hello world程序,看到了结果.现在我们就来解读一下这个Hello ...
- Hadoop学习笔记(2) ——解读Hello World
Hadoop学习笔记(2) ——解读Hello World 上一章中,我们把hadoop下载.安装.运行起来,最后还执行了一个Hello world程序,看到了结果.现在我们就来解读一下这个Hello ...
- Hadoop学习笔记—5.自定义类型处理手机上网日志
转载自http://www.cnblogs.com/edisonchou/p/4288737.html Hadoop学习笔记—5.自定义类型处理手机上网日志 一.测试数据:手机上网日志 1.1 关于这 ...
- hadoop学习笔记-目录
以下是hadoop学习笔记的顺序: hadoop学习笔记(一):概念和组成 hadoop学习笔记(二):centos7三节点安装hadoop2.7.0 hadoop学习笔记(三):hdfs体系结构和读 ...
- Hadoop学习笔记(9) ——源码初窥
Hadoop学习笔记(9) ——源码初窥 之前我们把Hadoop算是入了门,下载的源码,写了HelloWorld,简要分析了其编程要点,然后也编了个较复杂的示例.接下来其实就有两条路可走了,一条是继续 ...
- Hadoop学习笔记(4) ——搭建开发环境及编写Hello World
Hadoop学习笔记(4) ——搭建开发环境及编写Hello World 整个Hadoop是基于Java开发的,所以要开发Hadoop相应的程序就得用JAVA.在linux下开发JAVA还数eclip ...
随机推荐
- POJ3264-Balanced Lineup-线段树
Balanced Lineup Time Limit: 5000MS Memory Limit: 65536K Total Submissions: 53721 Accepted: 25244 ...
- IntelliJ IDEA 配置 smartGit
教你如何在IntelliJ IDEA中配置smartGit? 一.第一种方式: 1.在启动IDEA工具时,点击下拉按钮"Check out from Version Control" ...
- 2. Event编写
Event作用: 存储事件数据. IEventBase K:是Actor的StateId的类型,可以是long.可以是string,Ray一般使用OGuid生成的字符串作为主键. 编写Event继承I ...
- N的N次方
题目描述 现给你一个正整数N,请问N^N的最左边的数字是什么? 输入 输入包含多组测试数据.每组输入一个正整数N(N<=1000000). 输出 对于每组输入,输出N^N的最左边的数字. 样例输 ...
- JS高级用法
1.重复定时器 setTimeout(function() { // 处理中 setTimeout(arguments.callee, 1000); }, 1000) 这种模式链式调用了 setTim ...
- 有用的linux命令笔记
date cal [month] [year] bc 计算器 mkdir -p /home/bird/ 连续建立文件夹 mkdir -m 711 test2 创建文件夹是的权限 mv -i 询问是非覆 ...
- [机器学习]模型评价参数,准确率,召回率,F1-score
很久很久以前,我还是有个建筑梦的大二少年,有一天,讲图的老师看了眼我的设计图,说:"我觉得你这个设计做得很紧张".当时我就崩溃,对紧张不紧张这样的评价标准理解无能.多年后我终于明白 ...
- Linux - ubuntu中vi不能正常使用方向键与退格键的问题
一度怀疑是键盘坏了! 之前安装solaris也是这个问题! 重新安装vim就可以了! $sudo apt-get remove vim-common $sudo apt-get install vim
- JavaSE-反射-获取类或者对象的四种方法
1.使用Class类的静态方法Class.forName("xxxx"); 新建一个要想要获取的类 package org.burning.sport.javase.classlo ...
- git log 查看指定文件的提交记录
使用git log除了可以看整个仓库的提交记录外,还可以指定某个文件的提交记录. 1. 查看指定文件的历史提交记录 命令: git log -- <file> 说明:只需要指定文件名称. ...