一个job的生命历程 dagScheduler.runJob //(1) --> submitJob ( eventProcessLoop.post(JobSubmitted,***) //(2) --> eventProcessLoop //(3) --> onReceive(event: DAGSchedulerEvent) //(4) --> doOnReceive(event: DAGSchedulerEvent) //(5) --> case JobSubmitte…

相关文章:随笔<一个程序猿的生命周期>- 逆潮流而动的“叛逆者”        15年前,依稀记得走出大山,进城求学的场景.尽管一路有父亲的陪伴,但是内心仍然畏惧.当父亲转身离去.准备回到大山里的时候,使我深深感到彷徨.迷茫.无助.......一切的一切都得靠自己,同时我也深深的知道从此离开了封闭的.面朝黄土背朝天的命运.难道他们不曾想过改变这种命运吗?他们把希望都寄托在了孩子身上,我的逃离对于他们是一种寄托.         父母咨询别人,给我选择了计算机专业,对于我来讲完全陌生:第二年(2…

本文以Spark执行模式中最常见的集群模式为例,详细的描述一下Spark程序的生命周期(YARN作为集群管理器). 1.集群节点初始化 集群刚初始化的时候,或者之前的Spark任务完成之后,此时集群中的节点都处于空闲状态,每个服务器(节点)上,只有YARN的进程在运行(环境进程不在此考虑范围内),集群状态如下所示: 每个节点服务器上都有一个YARN的管理器进程在检测着服务器的状态.蓝色的是YARN主节点. 2.创建Spark驱动器进程 如上图所示,客户端将程序包(jar包或代码库)提交到集群管理…

感谢博客园一直以来的支持,写连载都是在这里首发,相比较CSDN和开源中国气氛要好的多. 节前,想以此篇文章结束<一个程序猿的生命周期>的<生存>篇,对过10的年做一个了断,准备开启新的起点.   正文:        从<0.一贫如洗的家境>写到现在,父母已经58了,我也已经30岁了,我的孩子也已经3岁了.时代的变迁造就了我们现在美好的生活,而在人生的旅途上也付出了无数的艰辛.当你暮然回首的时候,那些可能连屁都算不上,难道你还会怀疑你的前途嘛!!!        从事I…

前言 在Spark集群 + Akka + Kafka + Scala 开发(1) : 配置开发环境,我们已经部署好了一个Spark的开发环境. 本文的目标是写一个Spark应用,并可以在集群中测试. 创建一个Scala的工程- SimpleAPP 建一个目录SimpleAPP mkdir SimpleAPP mkdir -p SimpleAPP/src/main/scala 建一个SimpleAPP/src/main/scala/SimpleApp.scala文件 这个程序会进行MapReduc…

一个程序猿的生命周期 微信平台 口   号:职业交流,职业规划:面对现实,用心去交流.感悟. 公众号:iterlifetime 百木-ITer职业交流奋斗 群:141588103    微   博:http://www.weibo.com/wxzz0151 二维码:         摘要: 作为老板或是一名管理者应该具备极强的自我觉悟精神的.当老板问我“为什么就留不住人呢?”,按我的价值观判断是老板还有自觉精神的,所以我对于老板还抱有一丝的期望,但是这种期望是有保持期的. 老板的自觉精神是否会像…

一个程序猿的生命周期 微信平台 口   号:职业交流,职业规划:面对现实,用心去交流.感悟. 公众号:iterlifetime 百木-ITer职业交流奋斗 群:141588103    微   博:http://www.weibo.com/u/5723400254 二维码:    摘要:  人生路上,总是要付出的.总要集中力量解决一些问题的,这是蜕变的过程,也将达到不同的高度.人生中每次的努力都是播种下的种子,总是有收获的时候,只不过收获的周期有长有短.     我没有被恋爱冲昏了头,终归还是要…

第十三章   软件测试 这一章介绍了很多关于测试的方法,比如说单元测试,代码覆盖率测试,构建验证测试,验收测试等,我有一个很纠结的问题,如果我开发软件,是把这么多测试全做完,还是挑一些测试来进行呢?如果挑一些测试进行,又很怕这个软件存在未知的缺陷,如果全部测试都做的话那需要庞大的人力物力. 第十四章   质量保障 这章为了介绍了保障软件质量的方法,包括分工,每个角色的职责等!我总结出来,软件的质量好坏取决于团队的水平.那么如果从一开始,就知道团队的水平不行,最终开发出来的软件质量很大可能得不到保…

  原文地址:http://mzorro.me/post/55c85d06e40daa9d022f3cbd   WordCount可以说是分布式数据处理框架的”Hello World”,我们可以以它为例来剖析一个Spark Job的执行全过程. 我们要执行的代码为: sc.textFile("hdfs://...").flatMap(_.split(" ")).map((_, 1)).reduceByKey(_+_).collect 只有一行,很简单也很经典的代码.…

有两件事想记录一下,具有普遍性和代表性."程序猿"加了引号,是泛指一类人,也并非局限于IT行业.       山东子公司的总经理是公司大股东之一,个子不高.有些秃顶.面容显老,但看的出精明干练,称之为J总.他带领团体在节能环保方面取得了新的突破,拿下了可观的合同额,也为二期工程打下了坚实的基础.来北京开会闲聊时,他叙述:和现在这些搞IT小孩儿没法交流,有一天陪用户喝酒,一天两顿,中午喝4杯白酒(大概有1斤的量),实在忍受不了,独自一人在那吐,也没有人过来拍拍后背.递杯水,我这样到底为了…