Hadoop学习笔记二
一、设置无密码sudo权限,不用在普通用户和root用户间来回切换
chmod u+w /etc/sudoers
vim /etc/sudoers
#首行添加如下的内容:
hadoop ALL=(root)NOPASSWD:ALL
再执行chmod u-w /etc/sudoers
设置成功,测试: hadoop用户执行sudo service iptables status
二、关闭防火墙,设置主机名等
关闭防火墙: chkconfig iptables offadoop
关闭SELinux:vi /etc/sysconfig/selinux 设置SELINUX=disable
设置IP地址:ifconfig查看那个端口的收发包数量不为0,假设为ifeth0,vi /etc/sysconfig/network-scripts/ifcfg-eth0
修改hostname:vi /etc/sysconfig/network
IP与hosts绑定:vi /etc/hosts
安装JDK并设置环境变量
三、不建议在32位服务器或者windows上部署Hadoop
四、Hadoop可以以下三种方式运行
单机方式,伪分布式方式,完全分布式方式
伪分布式方式(Pseudo-Distributed)有5个独立的进程,NameNode,DataNode,SecondaryNameNode,ResourceManager,NodeManger。
单机模式文件和mr都是在本地文件系统。伪分布式是运行在yarn之上。
五、RPC协议
Remote Procedure Call,远程过程调用协议。客户端发送带参数的请求,等待服务器返回的信息。
Hadoop体系是建立在RPC之上的,类似WebService,Restful,JSON rpc等。
六、四大核心模块:common,hdfs,mapreduce,yarn。对应的hdfs的4个主要的配置文件:core-site.xml,hdfs-site.xml,yarn-site.xml,mapred.xml。
七、第一次启动hadoop之前,需要对namenode 文件系统进行格式化。/bin/hdfs namenode -formate。
八、启动命令:
启动namnode:sbin/hadoop-daemon.sh start namenode
启动datanode:sbin/hadoop-daemon.sh start datanode
启动secondary: sbin/hadoop-daemon.sh start secondarynamenode
启动yarn resourcemanager:/sbin/yarn-daemon.sh start resourcemanager
启动yarn nodemanager:/sbin/yarn-daemon.sh start nodemanager
启动historyserver: /sbin/mr-history-deamon.sh start historyserver
关闭命令。start改为stop即可
运行简单的mapreduce: /bin/hadoop jar share/hadoop/mapredurce/hadoop-mapreduce-examples-2.6.0.jar pi 2 10
九、监控页面
ip:50070对应于HDFS的监控页面。
ip:8088对应于yarn的监控界面。
wordcount程序是2个mapreduce任务
十、MapReduce运行的几种方式
单机模式,运行在本地,输入输出在本地文件系统。
运行在本地,输入输出在HDFS之上。mapred.xml运行方式为local。是调试MapReduce的常用方式。
运行在yarn之上,输入输出在HDFS之上。mapred.xml运行方式为yarn。
Hadoop学习笔记二的更多相关文章
- Hadoop-HBASE案例分析-Hadoop学习笔记<二>
之前有幸在MOOC学院抽中小象学院hadoop体验课. 这是小象学院hadoop2.X概述第八章的笔记 主要介绍HBase,一个分布式数据库的应用案例. 案例概况: 1)时间序列数据库(OpenTSD ...
- hadoop 学习笔记二
NameNode的持久化(persistent)(day4,1) 类似于:Redis redis中的持久化文件是相互独立的当两个持久化文件同时存在时默认使用的是aof ,但是namenode 的持久化 ...
- Hadoop学习笔记—22.Hadoop2.x环境搭建与配置
自从2015年花了2个多月时间把Hadoop1.x的学习教程学习了一遍,对Hadoop这个神奇的小象有了一个初步的了解,还对每次学习的内容进行了总结,也形成了我的一个博文系列<Hadoop学习笔 ...
- Hadoop学习笔记(2)
Hadoop学习笔记(2) ——解读Hello World 上一章中,我们把hadoop下载.安装.运行起来,最后还执行了一个Hello world程序,看到了结果.现在我们就来解读一下这个Hello ...
- Hadoop学习笔记(2) ——解读Hello World
Hadoop学习笔记(2) ——解读Hello World 上一章中,我们把hadoop下载.安装.运行起来,最后还执行了一个Hello world程序,看到了结果.现在我们就来解读一下这个Hello ...
- Hadoop学习笔记—5.自定义类型处理手机上网日志
转载自http://www.cnblogs.com/edisonchou/p/4288737.html Hadoop学习笔记—5.自定义类型处理手机上网日志 一.测试数据:手机上网日志 1.1 关于这 ...
- hadoop学习笔记-目录
以下是hadoop学习笔记的顺序: hadoop学习笔记(一):概念和组成 hadoop学习笔记(二):centos7三节点安装hadoop2.7.0 hadoop学习笔记(三):hdfs体系结构和读 ...
- Hadoop学习笔记(9) ——源码初窥
Hadoop学习笔记(9) ——源码初窥 之前我们把Hadoop算是入了门,下载的源码,写了HelloWorld,简要分析了其编程要点,然后也编了个较复杂的示例.接下来其实就有两条路可走了,一条是继续 ...
- Hadoop学习笔记(4) ——搭建开发环境及编写Hello World
Hadoop学习笔记(4) ——搭建开发环境及编写Hello World 整个Hadoop是基于Java开发的,所以要开发Hadoop相应的程序就得用JAVA.在linux下开发JAVA还数eclip ...
随机推荐
- linux管理面板
小编在这儿给大家介绍几款linux管理面板,希望感兴趣的童鞋可以去尝试下.个人觉得宝塔和appnode这两个面板不仅从功能和样式都还是做的比较好的,但是部分功能是收费的,但是webmin绝对是一款免费 ...
- angular2 表单验证
模版式表单 (1) angular遇到form自动接管,不想自动接管,添加ngNoForm,当标签为div时,但想被表单接管,添加ngForm; (2) ngForm可以被模版本地变量引用,以便在模版 ...
- PHPStudy+PHPStorm下配置隐藏项目入口文件
img { max-width: 100% } 默认情况下项目入口文件是站点根目录下index.php文件,一般程序启动时通过这个文件,定义文件路径,配置重要节点(比如是否开启调试模式),注册路由等, ...
- Linux文件链接hard link与symbolic link
Linux中文件链接有两种方式,一种是hard link,又称为硬链接:另一种是symbolic link,又称为符号链接.要区分两者的不同要回顾Linux常用的ext2文件系统.这种文件系统使用in ...
- node学习笔记2 —— npm包管理
全局模式安装包 将包安装为全局可用的可执行命令, 并非可以从任意地方require 将 package.json中bin定义的文件软链到统一的目录下, 该目录可以通过如下方式推算出来: path.re ...
- ThinkPHP模板IF标签用法详解
投稿:shichen2014 字体:[增加 减小] 类型:转载 时间:2014-07-01 我要评论 这篇文章主要介绍了ThinkPHP模板IF标签用法,需要的朋友可以参考下 ThinkPHP的IF标 ...
- navicat将多个表导出为一个sql文件
1.shift选中多个表 2右键选择--转储sql文件---结构和数据
- OKMX6Q LTIB编译
因为在16.04上编译有许多解决不了的错误,最后还是在飞凌的12.04虚拟机上编译的. 按照手册<OKMX6X-S2-LTIB编译手册-V1.1-2016-08-18>进行到第8步时,出现 ...
- intern
java.lang.String的intern()方法"abc".intern()方法的返回值还是字符串"abc",表面上看起来好像这个方 法没什么用处.但实际 ...
- SVN使用基础
1.安装svn centos:yum install subversion -y ubuntu:apt-get install subversion -y 2.创建库目录 mkdir /opt/.sv ...