今天发这个的目的是为了给自己扫开迷茫,告诉自己该进阶了,下面内容不一定官方和正确.全然个人理解,欢迎大家留言讨论 1.什么是hadoop 答:是google的核心算法MapReduce的一个开源实现. 用于海量数据的并行处理. hadoop的核心主要包括:HDFS和MapReduce HDFS是分布式文件系统.用于分布式存储海量数据. MapReduce是分布式数据处理模型,本质是并行处理. 2.用hadoop来做什么? 1.最简单的.做个数据备份/文件归档的地方.这利用了hadoop海量数据的…

hadoop节点动态上线下线怎么操作? )节点上线操作: 当要新上线数据节点的时候,需要把数据节点的名字追加在 dfs.hosts 文件中 ()关闭新增节点的防火墙 ()在 NameNode 节点的 hosts 文件中加入新增数据节点的 hostname ()在每个新增数据节点的 hosts 文件中加入 NameNode 的 hostname ()在 NameNode 节点上增加新增节点的 SSH 免密码登录的操作 ()在 NameNode 节点上的 dfs.hosts 中追加上新增节点的 ho…

HDFS(Hadoop Distributed File System)Hadoop分布式文件系统. 一.HDFS产生的背景 随着数据量越来越大,如果大到一台主机的磁盘都存放不下,该如何解决这个问题.一种思路是将数据分片放到多台主机上.如果放到多台主机上,又该怎么去管理,如果有些主机宕机了,数据丢失了该如何解决? 这时,就需要一种系统去解决上述问题,来更好地管理多台主机上的数据文件,这种系统就是分布式文件管理系统. 二.HDFS的特点 (1)流式访问数据 一次写入,多次读取.也就是一条数据插入,…

hdfs: hdfs官方文档 深入理解HDFS的架构和原理 https://blog.csdn.net/kezhong_wxl/article/details/76573901 HDFS原理解析(总体架构,读写操作流程) http://www.cnblogs.com/duanxz/p/3874009.html 经典漫画讲解HDFS原理 https://blog.csdn.net/scdxmoe/article/details/50904881 独家 | 一文读懂Hadoop(二)HDFS(上)…

颜色区别: 蓝色:hive,橙色:Hbase.黑色hadoop 请简述hadoop怎样实现二级排序． 你认为用Java,Streaming,pipe 方式开发map/reduce,各有哪些优缺点: 6. 请列出在你以前工作中所使用过的开发map /reduce的语言java:scala:python:shell: 7.当前日志采样格式为a,b,c,db,b,f,ea,a,c,f请用最熟悉的语言编写一个map/reduce 程序,计算第四列每个元素出现的个数: 14.某个目录下有两个文件a.txt…

Hadoop 面试题之九 16.Hbase 的rowkey 怎么创建比较好?列族怎么创建比较好? 答: 19.Hbase 内部是什么机制? 答: 73.hbase 写数据的原理是什么? 答: 75.hbase宕机如何处理? 答: 144. 如果让你设计,你觉得一个分布式文件系统应该如何设计,考虑哪方面内容: 每天百亿数据入hbase,如何保证数据的存储正确和在规定的时间里全部录入完毕, 不残留数据. 答: 149.hbase过滤器实现原则. 答: 164.介绍一下hbase过滤器. 答: 167…

Hadoop 面试题,看看书找答案,看看你能答对多少(2) 1. 下面哪个程序负责 HDFS 数据存储.a)NameNode  b)Jobtracker  c)Datanode d)secondaryNameNode e)tasktracker 答案C datanode 2. HDfS 中的 block 默认保存几份?a)3 份 b)2 份c)1 份d)不确定 答案A默认3分 3. 下列哪个程序通常与 NameNode 在一个节点启动?a)SecondaryNameNode b)DataNode…

hadoop面试题 Q1. Name the most common InputFormats defined in Hadoop? Which one is default ? Following 2 are most common InputFormats defined in Hadoop - TextInputFormat - KeyValueInputFormat - SequenceFileInputFormat Q2. What is the difference between …

--------------------------------------------------------------------------------------------------------------- [版权申明:本文系作者原创,转载请注明出处] 文章出处:http://blog.csdn.net/sdksdk0/article/details/51622547 作者:朱培 --------------------------------------------------…

* 面试答案为LZ所写,如需转载请注明出处,谢谢. * 这里不涉及HiveSQL和HBase操作的笔试题,这些东西另有总结. 1.MR意义. MR是一个用于处理大数据的分布式离线计算框架,它采用”分而治之“的思想. 在分布式计算中,将分布式存储.分布式计算.负载均衡等复杂问题高度抽象成map和reduce两个过程. MR存在的意义在于它使得计算更廉价,大规模数据计算不再需要高级商用机器. 其次是这个软件的现成实现可以把程序员的精力集中在业务开发上,节省开发时间. 2.简述MR过程. MapRed…