本文目录: 一.HDFS 二.MapReduce 三.Yarn 四.Hadoop3.x 新特性 五.Hadoop 大厂面试真题解析 Hadoop 涉及的知识点如下图所示,本文将逐一讲解: 本文档参考了关于 Hadoop 的官网及其他众多资料整理而成,为了整洁的排版及舒适的阅读,对于模糊不清晰的图片及黑白图片进行重新绘制成了高清彩图. 目前企业应用较多的是Hadoop2.x,所以本文是以Hadoop2.x为主,对于Hadoop3.x新增的内容会进行说明! 一.HDFS 1. HDFS概述 Hado…

写在前面 不少小伙伴让我整理下有关SpringCloud和SpringCloudAlibaba的知识点,经过3天的收集和整理,冰河整理出这份4万字的SpringCloud与SpringCloudAlibaba学习笔记!! 文章已收录到: https://github.com/sunshinelyz/technology-binghe https://gitee.com/binghe001/technology-binghe SpringCloud 服务注册中心 eureka ap 高可用 分布式…

写在前面 最近,一直有小伙伴让我整理下关于JVM的知识,经过十几天的收集与整理,初版算是整理出来了.希望对大家有所帮助. JDK 是什么? JDK 是用于支持 Java 程序开发的最小环境. Java 程序设计语言 Java 虚拟机 Java API类库 JRE 是什么? JRE 是支持 Java 程序运行的标准环境. Java SE API 子集 Java 虚拟机 Java历史版本的特性? Java Version SE 5.0 引入泛型: 增强循环,可以使用迭代方式: 自动装箱与自动拆箱:…

自序 这次面试的公司有一点点多,主要是因为毕业后前两份工作找的都很草率,这次换工作就想着,emm,毕业三年了,该找个工作好好沉淀几年了. 先说下这次面试的结果吧: 到 hr 面的:阿里.美团.滴滴.金山云.每日一淘.火币.宜信.旺店通.黄包车.linkedMe 其他: 小米 (四轮技术面,大概4个小时的样子,大数据部门,不知道是不是四面的负责人嫌弃我木有大数据的经验,不过我确实木有哈) 京东 (电话面试一轮+现场两轮,面试完快中午一点了,说是让我先回家,后面让hr 电话联系我 一周后一面的面试官…

今天不谈技术,只谈经历. 前戏 相信有很多的程序员都有一个产品梦,希望有一款属于自己产品.毕竟工作中遇到的有些"脑残"的产品经理不是一个两个,最后不得不因为"技术服务于业务"而低头,写一些自己不想写的代码. 这里并无引战的意思,职业不同,角度不同罢了. "刚刚开会增加了一个简单的需求,明天上线." "就是调一下位置,花不了多少时间的!" "原型没画,就是跟XXX一样的功能." "用户又不是傻子,哪…

作者 | 欧阳涛 招联金融大数据开发工程师 02 Master启动流程 2.10 WorkFlowExecutorThread 里执行 Submit StandByTask 方法 SubmitStandByTask干了5件事情: 从ReadyToSubmitTaskQueue中取出TaskInstance. (这个TaskInstance是可以重试并且设定为强制成功了的)把task放到completeTaskMap以及taskInstanceMap,并从队列中移除. 如果这个task是首次执行的…

02 Master启动流程 2.1 MasterServer的启动 在正式开始前,笔者想先鼓励一下大家.我们知道启动Master其实就是启动MasterServer,本质上与其他SpringBoot项目相似,即启动里面的main函数.但想要开始实操前,肯定有不少的人,尤其是初学者会突然发现这里面有十多个由bean注入的autowired. 被多个bean的注入搞到一头雾水,甚至感觉一脸懵逼的不是少数.但笔者就想说是,这些其实都是吓唬你们的,不用害怕,接下来将带领你们把这些bean分别解剖并归类,…

我整理了一份Nginx的配置文件说明,是真正经历过正式线上考验过.如果有优化的地方,也请朋友们指点一二,整理出一份比较全而实用的配置. 主要包含配置:负载均衡配置,页面重定向,转发,HTTPS和HTTP的配置, 缓存优化,错误页面配置等. #user nobody; #工作进程,于CPU核数一致 worker_processes 2; #error_log logs/error.log; #error_log logs/error.log notice; #error_log logs/erro…

重点知识 由于我面试的JAVA开发工程师,针对于JAVA,需要理解的重点内容有: JVM内存管理机制和垃圾回收机制(基本每次面试都会问,一定要搞得透彻) JVM内存调优(了解是怎么回事,一般做项目过程中使用较多) 设计模式(熟悉常见设计模式的应用场景,会画类图,实在不行背几个也是有用的) 多线程(每次都会问,包括线程和进程.线程状态.线程并发的操作等,需要深入复习) JAVA集合类框架(理解框架图.HashMap.ArrayList.HashSet等的关系和区别,其中HashMap的存储机制几乎…

考过了准备了10个月的Aps ,想送给关注我的8175个粉丝,一份礼物,感谢你们看的起我,对我的支持和关注. 这份礼物,我就大言不惭的称之为:达令的学习方法. 我的考试经历:高考两次,中戏艺考三试,导游证考试,专升本考试,教师资格证考试,德语自学通过德语A1考试,雅思考试,德福考试...其中德国留学aps考试,最值得分享一下. 先简单介绍一下,Aps 考试,这类考试分为面试和笔试,面试提问:问你大学所学的科目,毕业论文,留学目的等等,考试范围很大的,随机提问. 如果没有充分准备一个月以上,实在是…