一.Greenplum背景 时间回到2002年,互联网行业经过近10年的发展,数据量正处于快速增长期: 1.传统的主机计算模式在海量数据面前,除了造价昂贵外,在CPU计算和IO吞吐上不能满足海量数据的计算需求: 2.传统数据库大多基于SMP架,纵向扩容(scale-up)模式遇到了瓶颈. 3.分布式存储和分布式计算理论刚刚被提出来,Google的两篇著名论文关于GFS分布式文件系统和关于MapReduce 并行计算框架的理论引起业界的关注,分布式计算模式在互联网行业特别是收索引擎和分词检索等方面

漫谈 Greenplum 开源背后的动机  Greenplum是一家总部位于美国加利福尼亚州,为全球大型企业用户提供新型企业级数据仓库(EDW).企业级数据云(EDC)和商务智能(BI)提供解决方案和咨询服务的公司,在全球已有:纳斯达克,纽约证券交易所,Skype. FOX,T-Mobile;中国已有:中信实业银行,东方航空公司,阿里巴巴,华泰保险,中国远洋(Cosco),李宁公司等大型企业用户选择Greenplum的产品.     这几天最大的消息莫过于 Greenplum 的开源,年初开始

Pivotal Greenplum 6.0 新特性介绍   在1月12日举办的Greenplum开源有道智数未来技术研讨会上,Pivotal中国研发中心Greenplum 产品经理李阳向大家介绍了Pivotal Greenplum 6.0 新特性. Greenplum是Pivotal公司投入研发十多年,基于开源PostgreSQL数据库开发的一款Share-Nothing架构的分布式MPP数据库,具备高并发.高可用和高灵活等多种特性,可以对大任务.复杂任务进行快速高效计算,恰到好处地满足并行数据

Pivotal Greenplum 6.0 新特性介绍 https://cloud.tencent.com/developer/news/391063 原来 greenplum 也是基于pg研发的. 文章来源:企鹅号 - Pivotal中国研发中心 在1月12日举办的Greenplum开源有道智数未来技术研讨会上,Pivotal中国研发中心Greenplum 产品经理李阳向大家介绍了Pivotal Greenplum 6.0 新特性. Greenplum是Pivotal公司投入研发十多年,基于开

[TOC] 1.MySQL 简介 概述 MySQL是一个关系型数据库管理系统,由瑞典MySQL AB公司开发,目前属于Oracle公司. MySQL是一种关联数据库管理系统,将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性. Mysql是开源的,所以你不需要支付额外的费用. Mysql支持大型的数据库.可以处理拥有上千万条记录的大型数据库. MySQL使用标准的SQL数据语言形式. Mysql可以允许于多个系统上,并且支持多种语言.这些编程语言包括C.C+

从系统架构来看,目前的商用服务器大体可以分为三类,即对称多处理器结构 (SMP : Symmetric Multi-Processor) ,非一致存储访问结构 (NUMA : Non-Uniform Memory Access) ,以及海量并行处理结构 (MPP : Massive Parallel Processing) .它们的特征分别描述如下: 1. SMP(Symmetric Multi-Processor) SMP (Symmetric Multi Processing),对称多处理系

一.Android平台发展史  2008年9月,谷歌正式发布了Android 1.0系统,全球第一台Android设备HTC (G1)  2009年4月,谷歌正式推出了Android 1.5        2009年9月,谷歌发布了Android 1.6的正式版        2010年12月,谷歌正式发布了Android 2.3        2011年2月,Android系统设备的用户总数达到了1.35亿,发布Android 3.0        2011年8月,Android手机已占全球智

Oschat IM 开源即时通讯项目介绍 - FengJ的个人页面 - 开源中国社区 Oschat IM 开源即时通讯项目介绍    255人收藏此文章, 我要收藏 发表于5天前(2013-08-28 11:36) , 已有6412次阅读 ,共85个评论 目录:[ - ]    Oschat IM    一.Oschat Server    1.为什么选择Akka    2.Oschat中的Akka    二.Oschat Client    三.开源    Oschat IM Oschat I

微服务架构介绍和RPC框架对比 1.微服务架构 1.1 特征 自动化部署,端点智能化,语言和数据的去中心化控制. 1.2架构 一种将一个单一应用程序开发为一组小型服务的方法,每个服务运行在自己的进程中,服务间通信采用轻量级通信机制(通常用HTTP资源API).可通过全自动部署机制独立部署,共用一个最小型的集中式的管理.服务可用不同的语言开发,使用不同的数据存储技术. 去中心化基础设施 去中心化数据库 1.3微服务设计模式 聚合式(推荐) 代理(推荐) 链式 分支 异步消息 1.4微服务实现 1.

MPP代表大规模并行处理,这是网格计算中所有单独节点参与协调计算的方法. 是将任务并行的分散到多个服务器和节点上,在每个节点上计算完成后,将各自部分的结果汇总在一起得到最终的结果. MPP DBMS是建立在这种方法之上的数据库管理系统.在这些系统中的每个查询都会被分解为由MPP网格的节点并行执行的一组协调进程,它们的运行时间比传统的SMP RDBMS系统快得多.该架构的另一个优点是可扩展性,因为可以通过添加新节点扩展网格.为了能够处理大量的数据,这些解决方案中的数据通常在每个节点只处理其本地数据

远程服务调用RPC框架介绍,微服务架构介绍和RPC框架对比,dubbo.SpringClound对比 远程服务调用RPC框架介绍,RPC简单的来说就是像调用本地服务一样调用远程服务. 分布式RPC需要解决哪些问题呢? protocol:传输协议 proxy:client代理,服务引用方调用方法通过代理发送远程消息 codec:协议编解码压缩等 transport:协议传输 registry:注册中心,服务注册服务发现 cluster:负载均衡,服务容错策略 其他:服务降级,服务隔离,服务治理 -

转载自 技术世界,原文链接 Kafka设计解析(一)- Kafka背景及架构介绍 本文介绍了Kafka的创建背景,设计目标,使用消息系统的优势以及目前流行的消息系统对比.并介绍了Kafka的架构,Producer消息路由,Consumer Group以及由其实现的不同消息分发方式,Topic & Partition,最后介绍了Kafka Consumer为何使用pull模式以及Kafka提供的三种delivery guarantee. 目录 一.背景介绍 1. Kafka创建背景 2. Kafk

<Kafka剖析:Kafka背景及架构介绍> <Kafka设计解析:Kafka High Availability(上)> <Kafka设计解析:Kafka High Availability (下)> <Kafka设计解析:Replication工具> <Kafka设计解析:Kafka Consumer解析> Kafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用.目前越来越多的开源分

内容提要 本文涉及以下内容: 微服务架构介绍 spring cloud介绍 jhipster架构介绍 微服务架构介绍 微服务概念 微服务和SOA很相似,都是按照业务功能把系统拆分成一个一个的服务.比如电子商务系统拆分成订单服务,商品服务等,每个微服务都是自治的,可以单独部署. 微服务和SOA的区别是:微服务粒度更细,通信协议倾向于使用restfull api 而不使用webservice. 微服务有很多优点,包括松散耦合.自治服务.分散化治理以及易于持续交付等等. 微服务大的缺点是服务的可用性.

原文:http://blog.51cto.com/wzlinux/1961337 http://blog.51cto.com/wzlinux/category18.html-------------OpenStack —— 原理架构介绍(一~九) 一.OpenStack 简介 Openstack是一个控制着大量计算能力.存储.乃至于整个数据中心网络资源的云操作系统,通过Dashboard这个Web界面,让管理员可以控制.赋予他们的用户去提供资源的权限(即:能够通过Dashboard控制整个Ope

CQRS架构下Equinox开源项目分析 一.DDD分层架构介绍 本篇分析CQRS架构下的Equinox开源项目.该项目在github上star占有2.4k.便决定分析Equinox项目来学习下CQRS架构.再讲CQRS架构时,先简述下DDD风格,在DDD分层架构中,一般包含表现层.应用程序层(应用服务层).领域层(领域服务层).基础设施层.在DDD中讲到服务这个术语时,比如领域服务,应用层服务等,这个服务是指业务逻辑,而不是指任何技术如wcf,web服务. 下图是从经典三层构架演变为DDD下的

原文链接 Appium架构 Appium 设计哲学 不需要为了自动化而重新编译或修改被测应用 不应该让移动端自动化测试限定在某种语言或者某个具体的框架 不要为了移动端的自动化测试而重新造轮子 移动端自动化测试应该是开源的 Appium 架构 Appium 架构图如下: Appium 的核心是一个 Web 服务器,提供了一套 REST 的接口,接收到客户端的连接,监听到命令,在移动设备上执行这些命令,将执行结果放在 HTTP 响应中返还给客户端. 事实上,这种客户端/服务端的架构给予了许多的可能性

LAMP架构介绍及配置 LAMP简介与概述 LAMP概述 LAMP架构是目前成熟的企业网站应用模式之一,指的是协同工作的一整套系统和相关软件,能够提供动态Web站点服务及其应用开发环境. LAMP是一个缩写词,具体包括Linux操作系统.Apache网站服务器.MySQL数据库服务器.PHP(或Perl.Python)网页编程语言. 各组件的主要作用 (平台)Linux:作为LAMP架构的基础,提供用于支撑Web站点的操作系统,能够与其他三个组件提供更好的稳定性,兼容性(AMP组件也支持Wind

三层架构对于开发人员来说,已经是司空见惯了,除了大型与超小型项目外,大多都是这种架构来进行开发. 在这里为初学者们简单介绍一下三层架构: (下面内容摘自<趣味理解:三层架构与养猪—<.NET深入体验与实战精要>>,这是以前看到的关于三层架构介绍,觉得挺经典的,大家有时间的话认真看看) 对比以上两图,我们可以看出: 1)数据库好比猪圈 ,所有的猪有序地按区域或编号,存放在不同的猪栏里. 2)DAL 好比是屠宰场 ,把猪从猪圈取出来进行(处理)屠杀,按要求取出相应的部位(字段),或者进

SOA架构介绍和理解 SOA的正确方法论及目标模型,其实SOA在实现架构落地上,需要考虑到对服务的组合,不断的重用现有的服务,让企业应用可以逐步集成,快速实现业务的迭代. 通过SOA架构分层将服务按照使用类型进行分配,上层服务对下层服务的包装,下层服务负责原子性的操作,上层服务对下层服务进行业务性的组合. 具体的每一层的作用及主要职责: 1.应用服务(原子服务) 应用服务就是诸如:订单服务.仓库服务.销售服务.客户管理服务,这些服务直接对应不同的应用系统,直接服务这些应用系统的原子操作.订单服务

最近在了解MemSQL架构,看了些官方文档,在这里做个记录,原文在这里:http://docs.memsql.com/latest/concepts/distributed_architecture/ 分布式架构 MemSQL的分布式架构被设计为直接的.简单的并且快速的.这里概述了MemSQL集群,包括各式组件的交互.同时介绍了当你执行一个查询或者管理操作的时候,MemSQL环境发生了什么. 几个概念: 1.Aggregators(汇聚器) MemSQL集群的一种节点,为访问MemSQL集群的网