关于按时间抽取快速傅里叶(FFT)的快速理论深度思考 对于FFT基本理论参考维基百科或百度百科. 首先谈谈FFT的快速何来?大家都知道FFT是对DFT的改进变换而来,那么它究竟怎样改进,它改进的思想在何处呢?明白后,深感奇妙,感悟学习,感悟生活,写下此文,供大家分享之.(文中FFT均讨论按时间抽取快速傅里叶(FFT)) 首先我们来一起看看变换公式,DFT ->FFT(整数 ->奇数 + 偶数) 我自己到这结束也没了解它是怎么把时间变少的,从O(N2)(DFT时间深度)到O(N log2 N)(…

本期内容 : JobScheduler内幕实现 JobScheduler深度思考 JobScheduler 是整个Spark Streaming调度的核心,需要设置多线程,一条用于接收数据不断的循环,另外一条是处理线程,同时需要把调度与执行分离开. 一. 作业流程源码 : 首先只要定义了BatchDuration后就规定了按照什么样的频率生成具体的Job ,也就是Job生成的频率: 按照一定的频率操作ForeachRDD : 我们设置每隔5秒钟都会生成一个Spark 的Job ,Job其实其内部…

本期内容 : Spark Streaming Job生成深度思考 Spark Streaming Job生成源码解析 Spark Core中的Job就是一个运行的作业,就是具体做的某一件事,这里的JOB由于它是基于Spark Core所以Spark Streaming对其进行了封装. 大数据开发应用中少不了定时任务,是否相当于流式处理,只是期间的时间间隔的不同而已,所以数据都可以认为是流式处理. 一. JobGenerator 作业动态生成的一个类 : JobGenerator是个普通的类,作业…

系统环境:微软云Linux DS12系列.Centos6.5 .MySQL 5.7.10.生产环境,step1,step2是案例,精彩的剖析部分在step3,step4. 1.慢sql语句大概需要13秒 原来的sql语句要13秒,sql如下: SELECT (SELECT COUNT(*) FROM TB_BIS_POS_DEVICE t1, TB_BIS_MERCHANT t2 WHERE t1.`PROJECT_ID` = '1024' AND t1.MERCHANT_ID = t2.ID…

理解算法背后的世界观 我比较擅长的领域可能是数据和架构两个方面吧. 大数据方面就是数据挖掘.数据分析等领域,我现在带着极光推送整个的数据团队,需要把握数据团队的技术方向,还需要做很多算法方面的研究. 对于数据挖掘,我经常提到的就是大家在理解一个算法的时候,一定要理解这个算法背后的世界观,一定要明白这个算法是为什么产生的.它解决了什么样的问题. 另外,算法是为产品服务的,所以,你关注到算法的时候,也一定要想清楚,这个算法到底能用到我们什么产品上.另外,算法是会有一个瓶颈的,所以你必须清楚什么时候需…

深度思考:不断逼近问题的本质 作者是前香奈儿CEO,主要内容是作者的自传,从家庭说起,一直到卸任香奈儿CEO. 作者出生于上世纪六七十年代的一个美国中西部的犹太家庭,崇尚自由,讨厌标签.高中的一个暑假,作者去了趟法国,寄宿在一个法国家庭.大学考入耶鲁.毕业后到法国,加入欧莱雅,从底层做起. 在欧莱雅期间作者结识当时的同事后来的丈夫.欧莱雅给作者丈夫一个外派的升职的工作,作者丈夫拒绝了,并且从欧莱雅辞职.不久作者也决定从欧莱雅离职,会美国发展. 在美国作者加入盖璞,逐步升任一个叫“老海军”的子品牌…

1. 简介 CGLIB的全称是:Code Generation Library. CGLIB是一个强大的.高性能.高质量的代码生成类库,它可以在运行期扩展Java类与实现Java接口, 底层使用的是字节码处理框架ASM. Github地址:https://github.com/cglib/cglib. CGLIB的Maven坐标如下所示: <dependency> <groupId>cglib</groupId> <artifactId>cglib</…

原文地址:http://www.myexception.cn/software-architecture-design/602651.html Spring之LoadTimeWeaver——一个需求引发的思考 最近有个需求——记录应用中某些接口被调用的轨迹,说白了,记录下入参.出参等即可. 我选用ApsectJ解决这个问题,前期讨论说在接口层埋点,但这样有个问题,代码侵入比较严重,需要修改每个需要关注的接口实现类.经过一番讨论,决定使用AOP拦截所有这样的接口. 后面又有个新的要求——沙箱环境拦…

由一个emoji引发的思考 从毕业以来,基本就一直在做移动端,但是一直就关于移动端的开发,各种适配问题的解决,在日常搬砖中处理了就过了,也没有把东西都沉淀下来,觉得甚是寒颜.现就一个小bug,让我们来了解一下我们天天都在用的emoji,对于开发来说,是一个怎么样的存在. 背景 之前在做一个留言功能时,发现在其中一台安卓5.0的手机上,输入emoji糊掉了,成了如下这样的情况 这是skr啥玩意儿呀,怎么看上去像某白色幼虫. 与是我又试了好几个手机,ios都没有问题,甚至一台安卓机中之霸(安卓4.0…

结果#encoding = utf-8#题目:#生成一个n级深度的字典,例如:[1,2,3,4,5,6] 可以生成{1: {2: {3: {4: {6: 5}}}}},写一个函数定义n级a=[1,2,3,4,5,6] def fun(n,i=0,dict1={}): if i ==n-1: dict1[a[i]] = a[i+1:] if i < n-1: dict1[a[i]] = fun(n,i+1,dict1={}) #print "dict1:",dict1 return…