1 流式计算 流式计算:数据实时产生.实时传输.实时计算.实时展示 代表技术:Flume实时获取数据.Kafka/metaq实时数据存储.Storm/JStorm实时数据计算.Redis实时结果缓存.持久化存储(mysql). 一句话总结:将源源不断产生的数据实时收集并实时计算,尽可能快的得到计算结果. 2 Storm是什么 Storm 是用来实时处理数据,特点:低延迟.高可用.分布式.可扩展.数据不丢失,提供简单容易理解的接口,便于开发. 3 Storm 与Hadoop的区别 Storm用于实…

离线计算 离线计算:批量获取数据.批量传输数据.周期性批量计算数据.数据展示 代表技术:Sqoop批量导入数据.HDFS批量存储数据.MapReduce批量计算数据.Hive批量计算数据.azkaban/oozie任务调度 流式计算 流式计算:数据实时产生.数据实时传输.数据实时计算.实时展示 代表技术:Flume实时获取数据.Kafka/metaq实时数据存储.Storm/JStorm实时数据计算.Redis实时结果缓存.持久化存储(mysql). 一句话总结:将源源不断产生的数据实时收集并实…

一.流式计算概念 利用分布式的思想和方法,对海量“流”式数据进行实时处理,源自业务对海量数据,在“时效”的价值上的挖掘诉求,随着大数据场景应用场景的增长,对流式计算的需求愈发增多,流式计算的一般架构图如下: Flume获取数据-->Kafka传递数据-->Strom计算数据-->Redis保存数据 二.storm介绍 Apache Storm是一个分布式实时大数据处理系统.Storm设计用于在容错和水平可扩展方法中处理大量数据.它是一个流数据框架,具有最高的摄取率.Storm是无状态的,…

CLR via C# 读书笔记:第一章 CLR 的执行模型(1) 第Ⅰ部分CLR基础.这部分为三章(第一章:CLR的只想能够模型,第二章:生成.打包.部署和管理应用程序及类型,第三章:共享程序集和强命名程序集)大部分都是概念性的东西,看起来比较的枯燥无味,由于都是概念性的东西所以也比较难于理解,不过这些知识也是后面深入的前提,要想深入的了解.net平台及C#语言,这些概念性的知识也是必须懂得的.废话不多说了,咱们还是硬着头皮一起来看看第一章吧!由于一章内容较多,我会分开来写.本篇内容大纲: 将源…

第一章        ASP.Net编程基础知识 第一章        ASP.Net编程基础知识 本章首先介绍用ASP.Net技术编制服务器端动态网页所需的网络和HTML标记语言方面的有关知识.然后介绍ASP.Net技术基础. 9.1   网络基础 用ASP.Net技术编制服务器端动态网页,必然要和网络打交道,具备一些网络方面的知识是必要的.这里假设读者已经学习过计算机基础课程,在此基础上,进一步介绍用ASP.Net技术编制服务器端动态网页所需的必备网络基础知识. 9.1.1   局域网.广域…

 Storm工作原理: Storm是一个开源的分布式实时计算系统,常被称为流式计算框架.什么是流式计算呢?通俗来讲,流式计算顾名思义:数据流源源不断的来,一边来,一边计算结果,再进入下一个流. 比如一般金融系统一直不断的执行,金融交易.用户全部行为都记录进日志里,日志分析出站点运维.猎户信息.海量数据使得单节点处理只是来.所以就用到分布式计算机型,storm 是当中的典型代表之中的一个,一般应用场景是:中间使用一个消息队列系统如kafka,先将消息缓存起来,storm 中有非常多的节点,分布…

本书简介 <计算机程序的构造与解释>这本书是MIT计算机科学学科的入门课程, 大部分学生在学这门课程前都没有接触过程序设计,也就是说这本书是针对编程新手写的. 虽然是入门课程,但起点比较高,看懂里面的知识需要比较扎实的数学功底, 最起码要有高中数学水平,如果高中数学没学好,看起来会比较吃力. 当然,这本书的目标不是教你去做数学分析,或者让你学会使用LISP,他的目标我理解如下 学会使用编程的一些基本元素,以编程的方式思考问题 学会如何使用抽象和创造抽象来解决复杂问题 学会如何良好的组织代码来编…

1.变量的声明和初始化 必须使用关键字 var,后跟变量名,后面还可以跟一个赋值表达式. var name; var age = 5; var str = 'hello'; var flg = false; 2. javascript 中的算术运算和数学库函数 +(加) - (减) *(乘) / (除) %(取余) 可以使用的数学库:  3. 判断结构 1) if else 2) switch 没有特别之处 4.循环结构 1)while 2) for 5. 函数 1)有返回值的 2)无返回值的…

章节介绍 主要介绍并发编程时间中可能遇到的问题,以及如何解决. 主要问题 1.上下文切换问题 时间片是cpu分配给每个线程的时间,时间片非常短. cpu通过时间片分配算法来循环执行任务,当前任务执行一个时间片之后会切换到下一个任务.但是在切换之前会保存上一个任务的状态,以便再切换到这个任务时候,能够加载这个任务的状态.所以任务从保存再到加载的过程就是一次上下文切换.类似于读英文书时,遇到不懂的单词,记下读到的行数,翻出词典查询,查询完成后再翻到需要阅读的地方进行读取似的. 举例说明 多线程程序不…

第一次学习python 首先python对于我来说是我学习的第三门语言,之前大一学习过了c和c++这两门语言. 接触一个新语言,首先应该的是搭载一下编译的环境.我们是老师给我们上传了的python3安装包,以及pycharm的破解版,当然这个破解只是给了我们教程,需要我们自己去破解.然后我并没有破解成功,后面有时间了我再慢慢的去破解. 然而python是一个交互式的界面,我们只能在这个界面发出单个指令.需要通过IDLE来编写完整的py程序. 搭载好一个编写环境之后 第一个程序当然是编写Hello…