视频地址:http://pan.baidu.com/s/1dDEgKwD


着重介绍了HDFS

运行了示例程序wordcount,自己也试了一遍(用的伪分布式)

1.建立数据(和讲师的操作有些不一样,不过我相信自己)

2.运行wordcount程序

3.查看结果

(可以看出来,只要没空格,它都看作是一个单词)


接下来介绍了50030和50070查看任务和HDFS状态

......

其中如果想看日志的话除了命令行也可以直接输入

http://localhost:50070/logs/

http://localhost:50030/logs/

查看堆栈信息

http://localhost:50030/stacks


关闭,再也不能修改,说的很绝对,但是是正确的,因为之后的修改是删除重写


其中机架策略看着比较神奇,我知道机架感知的结果,但是不知道以什么策略感知的,或许是上下文、带宽,讲师也不知道,留着后面探索

回收站,跟windows的机理一样,删除了的文件不会马上完全删除。当到一定的容量的时候会自动删除

快照机制,讲师说0.20.2还没实现,以后会实现,也没讲。


介绍了HDFS文件操作包括命令行和API(API是给如Java代码用的)

几个命令行命令

... ...

查看统计信息 hadoop dfsadmin -report


接下来讲了添加新节点方式,不过我觉得他讲的不对或者不全,我查了一下网上,随后详细实验一把再写出来


负载均衡(hdfs存储)

讲师给的截图有点忽悠人

他是在没运行hadoop的情况下运行的这个脚本,真实的情况应该是这样的


刚开始的时候可以把Log4J的日志级别降到Info或者DEBUG,这样显示的信息更多


为什么日志成了hadoop项目中最多的一种?

一次写入,不再改变,只能用于分析


Linux下统计目录下有多少文件命令

ls|wc -l


shuffle过程的作用

1.压缩文件,提高文件传输效率;

2.分担了reduce的一部分工作。


像split、sort这样的工作很多MR程序都要做,所以hadoop把他们分离出来,封装成了一个组件

不必在每个MR程序中自己编写


MR程序的提交或者说任务的提交可以在任何一台集群机器上,不是非得在namenode上

就是说client端可以是datanode、namenode。


启动JVM很浪费时间和资源,所以有了JVM重用


为什么namenode需要格式?

格式化不同于磁盘文件系统的格式化。是初始化元文件系统信息,在相应目录建立current等目录等


hadoop的数据不修改那还要in_use.lock干什么?

给目录上锁,防止目录中内容的并发写冲突


炼数成金hadoop视频干货03的更多相关文章

  1. 炼数成金hadoop视频干货01

    视频地址:http://pan.baidu.com/s/1dDEgKwD 最开始还是讲hadoop的起源,但是和其他垃圾视频不同,不是照本宣科,听了还是受益.作者给人一种感觉就是他是确实把他的经验和体 ...

  2. 炼数成金hadoop视频干货06-10

    视频地址:http://pan.baidu.com/s/1dDEgKwD 第六课统讲了hadoop几个子项目和HBase,第七课还是讲的HBase 第八课讲了PIG 第九课讲了Hive和Zookeep ...

  3. 炼数成金hadoop视频干货05

    视频地址:http://pan.baidu.com/s/1dDEgKwD 这一节是讲师助教带着动手操作写简单的开发环境的部署和两个实例 开发环境的部署:http://www.cnblogs.com/a ...

  4. 炼数成金hadoop视频干货02

    视频地址:http://pan.baidu.com/s/1dDEgKwD 这个视频理论性太强,不过倒是给了自己唯一的选项就是自己实践,不用像以前那样视频中敲一个字符,我也敲一个字符 讲到的内容: 介绍 ...

  5. 炼数成金hadoop视频干货04

    视频地址:http://pan.baidu.com/s/1dDEgKwD 这一节讲的全是理论 任务执行优化 : 1.推测式执行: 2.重用JVM: 3.忽略模式. 除了手动修改Log4J.proper ...

  6. 015_[小插曲]看黄老师《炼数成金Hadoop应用开发实战案例》笔记

    1.大数据金字塔结构 Data Source-->Data Warehouses/Data Marts-->data exploration-->Data Mining-->D ...

  7. dataguru(炼数成金)大数据培训基地印象

    dataguru访问地址:http://f.dataguru.cn/?fromuid=99611 课程优惠码:C4B6  这段时间一直在dataguru(炼数成金)上学习<hadoop数据分析平 ...

  8. MapReduce工作原理图文详解 (炼数成金)

    MapReduce工作原理图文详解 1.Map-Reduce 工作机制剖析图: 1.首先,第一步,我们先编写好我们的map-reduce程序,然后在一个client 节点里面进行提交.(一般来说可以在 ...

  9. 截图:【炼数成金】深度学习框架Tensorflow学习与应用

    创建图.启动图 Shift+Tab Tab 变量介绍: F etch Feed 简单的模型构造 :线性回归 MNIST数据集 Softmax函数 非线性回归神经网络   MINIST数据集分类器简单版 ...

随机推荐

  1. (四面体)CCPC网络赛 HDU5839 Special Tetrahedron

    CCPC网络赛 HDU5839 Special Tetrahedron 题意:n个点,选四个出来组成四面体,要符合四面体至少四条边相等,若四条边相等则剩下两条边不相邻,求个数 思路:枚举四面体上一条线 ...

  2. linux 切换c++版本

    删除gcc-4.6的软连接文件/usr/bin/gcc.(只是删除软连接) 命令:sudo rm /usr/bin/gcc 然后建一个软连接,指向gcc-4.4. 命令:sudo ln -s /usr ...

  3. 读取jar内的配置文件

    读取jar包内的配置文件,可以使用ResourceBundle,具体具体例子如下 import java.io.BufferedInputStream; import java.io.IOExcept ...

  4. [置顶] Kendo UI开发教程: Kendo UI 示例及总结

    前面基本介绍完Kendo UI开发的基本概念和开发步骤,Kendo UI的示例网站为http://demos.kendoui.com/ ,包含了三个部分 Web DemoMobile DemoData ...

  5. redis 应用

    前段使用JQueryMobile进行展示. 实现了用户注册,登陆,列表基本功能 非常简洁. 如果想了解Redis存储,Express的处理可以提供一些基础的示范. 下载地址: https://gith ...

  6. 第二百六十一、二天 how can I坚持

    昨天在家宅了一天,晚上去看了个电影<寻龙诀>,感觉一般,虽然有黄渤.舒淇.十分打7分吧,画面倒是很震撼. 今天,去了趟东升八家郊野公园,想买个篮球玩玩来,可是超市里的太坑了,都是赠品还拿出 ...

  7. Spark RDD概念学习系列之Spark的算子的作用(十四)

    Spark的算子的作用 首先,关于spark算子的分类,详细见 http://www.cnblogs.com/zlslch/p/5723857.html 1.Transformation 变换/转换算 ...

  8. 【转】你真的了解iOS代理设计模式吗?

    转自:http://www.cocoachina.com/ios/20160317/15696.html 在项目中我们经常会用到代理的设计模式,这是iOS中一种消息传递的方式,也可以通过这种方式来传递 ...

  9. Cognos报表打开参数

    查看门户页面 http://localhost:9300/p2pd/servlet/dispatch? b_action=xts.run &m=portal/cc.xts &gohom ...

  10. Cognos 增加全局类

    Cognos使用版本10.1.1 由于我服务器装的是linux系统下的,所以window系统下的方法,提一下,但是没有实现过. 1.Linux系统下增加全局类 ●修改GlobalReportStyle ...