1 关于流处理 流处理平台(Streaming Systems)是处理无限数据集(Unbounded Dataset)的数据处理引擎,而流处理是与批处理(Batch Processing)相对应的.所谓的无线数据,指的是数据永远没有尽头.而流处理平台就是专门处理这种数据集的系统或框架.下图生动形象地展示了流处理和批处理的区别: 总体来说,流处理给人的印象是低延时,但是结果可能不太精确.而批处理则相反,它能提供精确的结果,但是往往存在高时延. 一个最简单的Streaming的结构如下图所示: 从一…

Kafka简介 Kafka是一个消息系统服务框架,它以提交日志的形式存储消息,并且消息的存储是分布式的,为了提供并行性和容错保障,消息的存储是分区冗余形式存在的. Kafka的架构 Kafka中包含以下几种专业术语: 1. topic:Kafka中以topic的形式来保存不同类别的消息 2. producer:Kafka中发布消息的称为producer 3. consumer:Kafka中订阅topic的进程称为consumer 4. broker:Kafka运行在由一个或多个服务(器)组成的集…

Kafka入门经典教程 http://www.aboutyun.com/thread-12882-1-1.html 问题导读 1.Kafka独特设计在什么地方?2.Kafka如何搭建及创建topic.发送消息.消费消息?3.如何书写Kafka程序?4.数据传输的事务定义有哪三种?5.Kafka判断一个节点是否活着有哪两个条件?6.producer是否直接将数据发送到broker的leader(主节点)?7.Kafa consumer是否可以消费指定分区消息?8.Kafka消息是采用Pull模式,…

1.0.0 Summary Tittle:[UML]NO.70.EBook.9.UML.4.001-[PowerDesigner 16 从入门到精通]-  基础概念 Style:DesignPattern Series:DesignPattern Since:2017-12-01 End:.... Total Hours:... Degree Of Diffculty:2 Degree Of Mastery:2 Practical Level:2 Desired Goal:2 Archieve…

先学习基础概念 1.COBOL字符:包含: User-defined words 用户定义字符 ŸSystem-names ŸReserved words 关键字 2.用户定义字符User-defined words:合法的定义: Ÿ A - Z Ÿ a - z Ÿ 0 - 9 Ÿ - (连字符). 3.系统名 System-names Computer-names ŸLanguage-names ŸImplementor-names: Environment-name Assignment-n…

一.概述 "记录宏"其实就是将工作的一系列操作结果录制下来,并命名存储(相当于VB中一个子程序). 宏其实就是VBA写的,但是可以通过录制的方法制作宏,做好的宏你可以查看相应的VBA语句,从而反过来学习VBA 二.宏在excel中的使用 excel 2016打开“开发工具面板”->“文件”->“选项”->“自定义功能区”->“勾选开发工具”: 打开开发工具,就可以开始录制与使用宏了. 宏的设置:http://www.office68.com/excel/2453…

基础概念 Elasticsearch有几个核心概念.从一开始理解这些概念会对整个学习过程有莫大的帮助. 1.接近实时(NRT)        Elasticsearch是一个接近实时的搜索平台.这意味着,从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟(通常是1秒). 2.集群(cluster)        一个集群就是由一个或多个节点组织在一起,它们共同持有你整个的数据,并一起提供索引和搜索功能.一个集群由一个唯一的名字标识,这个名字默认是“elasticsearch”.这个名字是重要…

Master k8s里的master指的是集群控制节点,每个k8s集群里需要有一个Master节点来负责整个集群的管理和控制,基本k8s所有控制命令都发给它,它负责整个具体的执行过程,后面执行操作基本都是在master节点上运行的,master通常会占据一个独立的服务器(高可用建议3台至少),主要原因它太重要,是整个集群的首脑,如果宕机不可用,那么对集群内容器应用管理都将失效 Master节点上运行的程序kubernetes API Server (kube-apiserver):提供了HTTP…

kubernetes基本概念和术语   kubeernetes中的大部分概念如Node,Pod,Replication Controller ,Serverce等都可以看作一种“资源对象”,几乎所有的资源对象都可以通过kubernetes提供的kubectl工具(或者API编程调用)执行增删改查等操作并将其保存在etcd中持久化存储.从这个角度来看,kubernetes其实是一个高度自动化的资源控制系统,它通过跟踪对比etcd库里保存的“资源期望状态”与当前环境中的“实际资源状态”的差异来实现自…

1.ZooKeeper介绍与核心概念1.1 简介ZooKeeper最为主要的使用场景,是作为分布式系统的分布式协同服务.在学习zookeeper之前,先要对分布式系统的概念有所了解,否则你将完全不知道zookeeper在分布式系统中起到了什么作用,解决了什么问题. 1.2分布式系统面临的问题我们将分布式系统定义为:分布式系统是同时跨越多个物理主机,独立运行的多个软件所组成系统.类比一下,分布式系统就是一群人一起干活.人多力量大,每个服务器的算力是有限的,但是通过分布式系统,由n个服务器组成起来的…