Vvio总共就一轮技术面+一轮HR面,技术面总体而言,比较宽泛,比较看中基础,面试的全程没有涉及简历上的东西(都准备好跟他扯项目了,感觉是抽取的题库...)具体内容如下: 1.熟悉Hadoop哪些组件? 答:hdfs.yarn.MapRedue.Hive 2.讲一讲yarn的调度过程? 答:blabla... 3.yarn的调度器有哪些? 答:FIFO.多队列分开调度.CapacityScheduler.FairScheduler...(当时没答全) 4.讲讲Hive内部表和外部表的区别? 答:…

Storm是一个分布式.高容错.高可靠性的实时计算系统,它对于实时计算的意义相当于Hadoop对于批处理的意义.Hadoop提供了Map和Reduce原语.同样,Storm也对数据的实时处理提供了简单的 spout和bolt原语.Storm集群表面上看和Hadoop集群非常像,但Hadoop上面运行的是MapReduce的Job,而Storm上面运行的是topology(拓扑),它们非常不一样,比如一个MapReduce的Job最终会结束, 而一个Storm topology永远运行(除非显式杀…

如今随着环境的改变,物联网.AI.大数据.人工智能等,是未来的大趋势,而大数据是这些基石,万物互联,机器学习都是大数据应用场景! 为什么要学习大数据?我们JAVA到底要不要转型大数据? 好比问一个程序员为什么要学编程! 大数据技术是未来科技的必备技能,在外行看来大数据就是噱头,华而不实,对于大数据技术来说"先是看不见,再是看不上,最后是跟不上".做技术的一定要跟上时代,做精当下,看见未来! 大数据,人工智能,可以说绝对是未来十年社会发展的风向标.生存法则变了, 你再不懂这些就彻底晚了!…

众所周知,很多语言技术已经在长久的历史发展中掩埋,这期间不同的程序员也走出的自己的发展道路. 有的去了解新的发展趋势的语言,了解新的技术,利用自己原先的思维顺利改变自己的title. 比如我自己,也都在往更高的技能走,我认为这是一个很聪明的想法,横向发展,拖宽自己的知识广度,未来或许就能把握更多的机遇! 所以做Java开发,除了Java还可以学什么?如何正确转型大数据,编程语言与大数据的关系? 企业级大数据项目的开发流程是:数据采集 → 数据清洗 → 数据存储 → 数据计算 → 数据分析 → 数…

撰写我对java后端开发工程师选择方向的想法,写给在java后端选择转方向的人 背景 看到一些java开发工程师,对java后端薪酬太悲观了.认为换去大数据领域就会高工资.觉得java后端没有前途.我从事java后端开发,对大数据领域工作有些了解,但不深入.本文描述一下我对java后端和是否转大数据开发的个人见解. 目的 分析大数据领域分类 分析大数据工作工资高的原因 分析造成觉得java后端开发不够前景的原因 java后端转大数据工作做什么 转去大数据领域的各类方向与java后端比较衡量 一.…

1.Spark计算依赖内存,如果目前只有10g内存,但是需要将500G的文件排序并输出,需要如何操作? ①.把磁盘上的500G数据分割为100块(chunks),每份5GB.(注意,要留一些系统空间!) ②.顺序将每份5GB数据读入内存,使用quick sort算法排序. ③.把排序好的数据(也是5GB)存放回磁盘. ④.循环100次,现在,所有的100个块都已经各自排序了.(剩下的工作就是如何把它们合并排序!) ⑤.从100个块中分别读取5G/100=0.05 G入内存(100input bu…

前面一篇文章提到大数据开发-Spark Join原理详解,本文从源码角度来看cogroup 的join实现 1.分析下面的代码 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object JoinDemo { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName(this.get…

点击上方 蓝字关注我们 作者 | 宋哲琦 ✎ 编 者 按 在不久前的 Apache  DolphinScheduler Meetup 2021 上,有赞大数据开发平台负责人 宋哲琦 带来了平台调度系统从 Airflow 迁移到 Apache  DolphinScheduler 的方案设计思考和生产环境实践. 这位来自浙江杭州的 90 后年轻人自 2019 年 9 月加入有赞,在这里从事数据开发平台.调度系统和数据同步组件的研发工作.刚入职时,有赞使用的还是同为 Apache 开源项目的 Airf…

数据开发 1.按姓氏笔画排序:Select * From TableName Order By CustomerName Collate Chinese_PRC_Stroke_ci_as //从少到多 2.数据库加密:select encrypt('原始密码')select pwdencrypt('原始密码')select pwdcompare('原始密码','加密后密码') = 1--相同:否则不相同 encrypt('原始密码')select pwdencrypt('原始密码')select…

数据开发(经典) 1.按姓氏笔画排序: Select * From TableName Order By CustomerName Collate Chinese_PRC_Str oke_ci_as //从少到多 2.数据库加密: select encrypt('原始密码') select pwdencrypt('原始密码') select pwdcompare('原始密码','加密后密码') = 1--相同:否则不相同 encr ypt('原始密码') select pwdencrypt('原…