【Hadoop面试】基础概念、HDFS、MapReduce、Yarn、实战
一、Hadoop概念及架构
1、是否看过Hadoop源码
2、正常工作的hadoop集群中hadoop都分别需要启动哪些进程,他们的作用分别是什么
3、hadoop和spark中的文件缓存方式
4、hadoop各组件之间通信Rpc协议
5、Hadoop的读数据流程
6、对Hadoop生态圈中的哪些技术比较了解
其他问法:你了解的hadoop生态圈的框架,及其大概在怎样的一个位置
7、列出几个配置文件优化hadoop,怎么做数据平衡
8、关于hadoop相关的调优
9、Hadoop启动的时候都有哪些进程,进程名称
10、Hadoop是什么
11、hadoop的块大小,从哪个版本开始是128M
12、Hadoop数据倾斜问题
13、hadoop中定义的主要共用InputFormats中,哪一个是默认值
14、hadoop任务中,什么是InputSplit?
15、Hadoop中job和Tasks之间的区别是什么?
16、请描述hadoop2.x中HDFS的高可用架构(high availability)是如何实现的。
17、简述Apache原生Hadoop,CDH,HDP的区别。
18、Hadoop的分片机制 为什么进行分片 有啥好处 是基于什么原理分片的
19、Hadoop保存文件的特性 :分片 备份
20、hadoop中的combine函数的作用?
21、hadoop的TextInputFormat作用是什么,如何自定义实现
22、请说明hadoop为何不适合存情大量小文件。假如有小文件存储需求如何优化。
23、常见端口号和配置文件
24、hadoop shuffle过程
25、Hadoop的适用场景?比如说适用于OLAP还是OLTP
二、HDFS
1、传输过程中DataNode挂掉怎么办
2、介绍一下HDFS的存储过程
3、 HDFS是一个分布式文件系统,其适合的读写任务是
4、HDFS 的体系结构
5、传统的关系型数据库和Hadoop有什么区别?
6、怎么查看某个目录下的小文件
三、MapReduce
1、MapReduce工作的各个阶段
2、如果没有定义partitioner,那数据在被送达reduce前是如何被分区的?
3、map端的一个分区数据如果有大量的重复,怎么去重?
4、手写MapReduce
四、Yarn
1、namenode、datanode、secondnamenode怎么协作的?
2、hadoop的namenode.2NN.hafs的文件 上传
五、实操部分
1、详解Hadoop的WordCount
2、hadoop二次排序
3、小表关联大表怎么实现的|切片,shuffle,reduce阶段,map阶段,Yarn流程
4、hadoop 实现TopN
5、Hadoop是自己搭的吗,用的什么版本?hadoop、flume、kafka、sqoop、spark版本号
6、有没有使用OZ调度hadoop任务
7、hadoop命令:创建、查看文件、列出文件状态
8、在处理10pb级别的数据时,大概需要的集群配置,计算瓶颈,解决方案
【Hadoop面试】基础概念、HDFS、MapReduce、Yarn、实战的更多相关文章
- 大数据学习笔记之Hadoop(三):MapReduce&YARN
文章目录 一 MapReduce概念 1.1 为什么要MapReduce 1.2 MapReduce核心思想 1.3 MapReduce进程 1.4 MapReduce编程规范(八股文) 1.5 Ma ...
- [hadoop] 一些基础概念
一.云的概念 1.云计算的概念 随时 随地 使用任何设备 获得任何服务 2.趋势 )资料开始回归集中处理(存储大量资料) 随时存取 降低遗失风险 减少传输成本 促进团队协作 )网页变为预设开发平台(网 ...
- hadoop集群之HDFS和YARN启动和停止命令
假如我们只有3台linux虚拟机,主机名分别为hadoop01.hadoop02和hadoop03,在这3台机器上,hadoop集群的部署情况如下: hadoop01:1个namenode,1个dat ...
- Hadoop学习基础之三:MapReduce
现在是讨论这个问题的不错的时机,因为最近媒体上到处充斥着新的革命所谓“云计算”的信息.这种模式需要利用大量的(低端)处理器并行工作来解决计算问题.实际上,这建议利用大量的低端处理器来构建数据中心,而不 ...
- Java面试基础概念总结
面向对象软件开发的优点有哪些? 答:开发模块化,更易维护和修改:代码之间可以复用:增强代码的可靠性.灵活性和可理解性. 多态的定义? 答:多态是编程语言给不同的底层数据类型做相同的接口展示的一种能力. ...
- 大数据 - hadoop基础概念 - HDFS
Hadoop之HDFS的概念及用法 1.概念介绍 Hadoop是Apache旗下的一个项目.他由HDFS.MapReduce.Hive.HBase和ZooKeeper等成员组成. HDFS是一个高度容 ...
- 【原创】大数据基础之Hadoop(2)hdfs和yarn最简绿色部署
环境:3结点集群 192.168.0.1192.168.0.2192.168.0.3 1 配置root用户服务期间免密登录 参考:https://www.cnblogs.com/barneywill/ ...
- Hadoop优化 第一篇 : HDFS/MapReduce
比较惭愧,博客很久(半年)没更新了.最近也自己搭了个博客,wordpress玩的还不是很熟,感兴趣的朋友可以多多交流哈!地址是:http://www.leocook.org/ 另外,我建了个QQ群:3 ...
- 【Hadoop离线基础总结】MapReduce入门
MapReduce入门 Mapreduce思想 概述 MapReduce的思想核心是分而治之,适用于大量复杂的任务处理场景(大规模数据处理场景). 最主要的特点就是把一个大的问题,划分成很多小的子问题 ...
- 【Hadoop离线基础总结】MapReduce增强(下)
MapReduce增强(下) MapTask运行机制详解以及MapTask的并行度 MapTask运行流程 第一步:读取数据组件InputFormat(默认TextInputFormat)会通过get ...
随机推荐
- RDS MySQL内存管理
官方文档地址:https://help.aliyun.com/product/26090.html?spm=5176.7920929.1290474.7.2c6f4f7bACaToi 官方文档地址:h ...
- 从应用访问Pod元数据-DownwardApi的应用
对于某些需要调度之后才能知道的数据,比如 pod 的 ip,主机名,或者 pod 自身的名称等等,k8s 依旧很贴心的提供了 Downward API 的方式来获取此类数据,并且可以通过环境变量或者文 ...
- C++自学笔记 初始化列表 Initializer list
初始化p A(){ p = 0;cout<<"A::A()"<<endl;} 初始化列表 Initializer list A():p(0){ cout&l ...
- PAT (Basic Level) Practice 1024 科学计数法 分数 20
科学计数法是科学家用来表示很大或很小的数字的一种方便的方法,其满足正则表达式 [+-][1-9].[0-9]+E[+-][0-9]+,即数字的整数部分只有 1 位,小数部分至少有 1 位,该数字及其指 ...
- 糟了,线上服务出现OOM了
前言 前一段时间,公司同事的一个线上服务OOM的问题,我觉得挺有意思的,在这里跟大家一起分享一下. 我当时其实也参与了一部分问题的定位. 1 案发现场 他们有个mq消费者服务,在某一天下午,出现OOM ...
- Docker | 使用dockerfile生成镜像,清理docker空间
用dockerfile生成镜像并挂载数据卷 编写dockerfile文件 创建dockerfile01 文件 # 基础镜像 FROM centos VOLUME ["volume01&quo ...
- Python-D4-语法入门2
目录 数据类型 数据类型之整型int 数据类型之浮点型float 数据类型之字符串str 数据类型之列表list 数据类型之字典dict 基本数据类型之布尔值bool 基本数据类型之元祖tuple 基 ...
- C语言------数据类型与输入输出
仅供借鉴.仅供借鉴.仅供借鉴(整理了一下大一C语言每个章节的练习题.没得题目.只有程序了) 文章目录 1 .实训名称 2 .实训目的及要求 3 .源代码及运行截图 4 .小结 1 .实训名称 实训2: ...
- JUC(1)线程和进程、并发和并行、线程的状态、lock锁、生产者和消费者问题
1.线程和进程 进程:一个程序,微信.qq...程序的集合.(一个进程包含多个线程,至少包含一个线程.java默认有两个线程:主线程(main).垃圾回收线程(GC) 线程:runnable.thre ...
- 基于YOLO和PSPNet的目标检测与语义分割系统(python)
基于YOLO和PSPNet的目标检测与语义分割系统 源代码地址 概述 这是我的本科毕业设计 它的主要功能是通过YOLOv5进行目标检测,并使用PSPNet进行语义分割. 本项目YOLOv5部分代码基于 ...