以 Apache Mesos 计算的开源数据中心 数据中心 易云 · 2015-09-15 16:53 Apache Mesos 是一个管理器,它通过分布式的应用或框架提供了一种高效的资源隔离和共享.Mesos最初是由加州大学的伯克利分校开发的开源软件.它处于应用层和操作系 统之间,使其易于部署,并使得在大规模集群环境中部署应用变得更高效.它可以在一个节点动态共享的池中运行很多应用.Mesos的突出用户包括 Twitter.Airbnb.MediaCrossing.Xogito 以及 Categ…

Mesos和kubernetes http://dockone.io/article/956我坚定地认为,下一年里,它们的使用增长会更快,因此是时候回顾总结,为2016年做好准备了.本文我想讨论Mesos和Kubernetes的现状,并且列举出优势和劣势,让大家能够理解集群管理器的概念. Mesos和Kubernetes 在开始之前,我想花时间粗略比较一下Mesos和Kubernetes.这样的比较并不容易,因为Mesos做的工作和Kubernetes并不完全一致.要理解这其中的原因,需要快速深…

参考资料: 基于Apache Mesos 构建高可靠,高可用的Jenkins CI:http://blog.csdn.net/ebay/article/details/43529401 Docker Plugin:https://wiki.jenkins-ci.org/display/JENKINS/Docker+Plugin%20?cm_mc_uid=94135605374514466031253&cm_mc_sid_50200000=1458197450 Jenkins与Docker相关的P…

Mesos-dns 和 Marathon-lb 是mesosphere 官网提供的两种服务发现和负载均衡工具.官方的文档主要针对DCOS,针对其它系统的相关中文文档不多,下面是我在Centos7上的安装说明和使用总结. 1. Mesos服务发现与负载均衡 默认情况下,mesos marathon会把app发布到随机节点的随机端口上,当mesos slaves和app越来越多的时候,想查找某组app就变得困难. mesos提供了两个工具:mesos-dns和marathon-lb.mesos-dn…

还记得在十多年前,SaaS鼻祖SalesForce喊出的口号『No Software』吗?SalesForce在这个口号声中开创了SaaS行业,并成为当今市值460亿美元的SaaS之王.今天谈谈『No Server』有关的事.继OpenStack.Docker .MiscroService.Unikernel.Kubernetes和Mesos之后,ServerLess正成为Google亚马逊乃至创业公司暗战的新战场,它们能否成为云计算领域的颠覆性趋势? 1.开始于Eucalyptus终结于Ope…

下一代云计算模式:Docker正掀起个性化商业革命 作者: 吴宁川  来源: ITValue  发布时间: 2015-09-20 10:41  阅读: 12976 次  推荐: 24                   原文链接   [收藏]   文/ITValue 记者吴宁川 从 2008 年开始进入公众视野,到亚马逊与微软于近期获得 1 亿美元的美国联邦管理局云计算合同,云计算整整走过了 7 年.7 年间,以第一代云计算技术为基础的移动计算.社交网络.大数据等新信息技术在全球商业领域掀起了一…

作者: 吴宁川  来源: ITValue  发布时间: 2015-09-20 10:41  阅读: 10008 次  推荐: 16   原文链接   [收藏] 文/ITValue 记者吴宁川 从 2008 年开始进入公众视野,到亚马逊与微软于近期获得 1 亿美元的美国联邦管理局云计算合同,云计算整整走过了 7 年.7 年间,以第一代云计算技术为基础的移动计算.社交网络.大数据等新信息技术在全球商业领域掀起了一场新商业运动,这场商业运动创造出以消费者和用户为核心的个性化商业模式. 从去年开始席卷云…

下一代云计算模式:Docker正掀起个性化商业革命 作者: 吴宁川  来源: ITValue  发布时间: 2015-09-20 10:41  阅读: 14052 次  推荐: 26   原文链接   [收藏]   文/ITValue 记者吴宁川 从 2008 年开始进入公众视野,到亚马逊与微软于近期获得 1 亿美元的美国联邦管理局云计算合同,云计算整整走过了 7 年.7 年间,以第一代云计算技术为基础的移动计算.社交网络.大数据等新信息技术在全球商业领域掀起了一场新商业运动,这场商业运动创造出…

云计算下PAAS的解析一       PaaS是Platform-as-a-Service的缩写,意思是平台即服务. 把服务器平台作为一种服务提供的商业模式.通过网络进行程序提供的服务称之为SaaS(Software as a Service),而云计算时代相应的服务器平台或者开发环境作为服务进行提供就成为了PaaS(Platform as a Service).所谓PaaS实际上是指将软件研发的平台(计世资讯定义为业务基础平台)作为一种服务,以SaaS的模式提交给用户.因此,PaaS也是Saa…

摘要: 随着大数据技术的发展,实时流计算.机器学习.图计算等领域成为较热的研究方向,而Spark作为大数据处理的“利器”有着较为成熟的生态圈,能够一站式解决类似场景的问题.那你知道Spark生态系统有哪些组件吗?下面让我们跟着本文一同了解下这些不可或缺的组件.本文选自<图解Spark:核心技术与案例实战> Spark 生态系统以Spark Core 为核心,能够读取传统文件(如文本文件).HDFS.Amazon S3.Alluxio 和NoSQL 等数据源,利用Standalone.YARN…

前言 因工作需要,我对基于Apache Mesos 的 Docker 集群作了一点研究,并搭建了一套环境,以下是资料分享. 1. Apache Mesos概述 Apache Mesos是一款开源群集管理软件,能将数据中心中的CPU.内存.存储.其它资源全部虚拟化并进行管理(引用自百度).它被一些人认为是继OpenStack之后的“下一代云计算平台”,“代表云计算的未来“. 根据网络资料,Apache Mesos具有高可靠性,经过严酷的生产环境考验.目前Twitter.Mac等公司在使用它. 现在…

目前,Spark已经发展成为包含众多子项目的大数据计算平台. 伯克利将Spark的整个生态系统称为伯克利数据分析栈(BDAS). 其核心框架是Spark,同时BDAS涵盖支持结构化数据SQL查询与分析的查询引擎Spark SQL和Shark,提供机器学习功能的系统MLbase及底层的分布式机器学习库MLlib. 并行图计算框架GraphX. 流计算框架Spark Streaming. 采样近似计算查询引擎BlinkDB. 内存分布式文件系统Tachyon. 资源管理框架Mesos等子项目. 这些…

云存储是云计算目前的热点之一,Dropbox.Box等产品的风靡,公司因此获得极高估值,都印证了这一点.但云存储对技术和资金要求都比较高,竞争也非常激烈,挑战巨大.国外云存储公司有亚马逊的云平台作为支撑,大大减少了发展初期的阻力.而中国公司该怎么办呢? 近日,国内知名的云存储服务公司上海够快网络科技有限公司(简称“够快”)已经全面从自己部署服务器转向阿里云开放存储服务,我们为此特地采访了够快总经理蒋烁淼. 刘江:为什么想到创建够快?在创建够快之前做了哪些准备? 蒋烁淼:创建够快是一件蛮有趣的事情…

"决胜云计算大数据时代" Spark亚太研究院100期公益大讲堂 [第15期互动问答分享] Q1:AppClient和worker.master之间的关系是什么? AppClient是在StandAlone模式下SparkContext.runJob的时候在Client机器上应       用程序的代表.要完毕程序的registerApplication等功能. 当程序完毕注冊后Master会通过Akka发送消息给client来启动Driver: 在Driver中管理Task和控制Wo…

2016年1月24日 8:00—19:00 北京万豪酒店(东城区建国门南大街7号) @Container大会是由国内容器社区DockOne组织的专为一线开发者和运维工程师设计的顶级容器技术会议,会议强调实践和交流,话题设置围绕容器.运维.云计算等技术领域,力求全方位.多角度为参会者解读容器技术. 在容器技术大会上,我分享了<基于Mesos 和 Docker 企业级移动应用实践分享> 下载链接 http://download.csdn.net/detail/popsuper1982/954493…

基本概念 基础设施即服务(Infrastructure as a service) 通常指的是在云端为用户提供基础设施,如:虚拟机.服务器.存储.负载均衡.网络等等.亚马逊的AWS就是这个领域的佼佼者,国内则以阿里云为首. 平台即服务(Platform as a service) 通常指的是在云端为用户提供可执行环境.数据库.网站服务器.开发工具等等. 国外的OpenShift, Red Hat, Cloudera,Cloud Foundry, Google App Engine. 软件即服务(…

[IT时代周刊编者按]云计算特有的优点和巨大的商业前景,让其成为了近年来的IT界最热门词汇之一.当然,这也与中国移动互联网的繁荣紧密相关,它们需要有相应的云计算服务作为支撑.但本文作者祁海江结合自身的经验,对国内目前的云计算服务进行观察后认为,国内云服务商多数采用过于简单粗放的“远程机房+移动大硬盘”模式,不能满足并行图形处理的计算需求,“应认清技术潮流,整合前沿计算工具,尽快推进云GPU并行计算服务,促进中国移动互联网整体技术水准攀升.”那么云GPU并行计算服务有多重要?作者在文中作了深入浅出…

变革这个词在当今的数字化时代司空见惯,IT技术每过一段时间就会有一起革新,从WEB2.0.虚拟化.云计算.大数据.微架构.DevOps再到今天的容器Docker与Mesos. Docker的出现方便了应用的测试.部署.与升级,其将各种应用程序和它们所依赖的运行环境打包成标准的Container/Image,进而发布到不同的平台上运行.Docker的轻量级.快速部署.迁移方便的特性促进了DevOps的落地,借用容器,开发人员可以很方便的融入到产品的交付流程当中. Mesos是软件定义数据中心的最佳…

我们正在经历着一个前所未有的变革时代.信息技术的不断创新也推动着各行业的业务创新. 任何规模和类型的组织都需要拥抱最新的IT趋势才能保持竞争力与创新力,并关注自身的业务. 云计算的最终目标是将计算.服务和应用作为一种公共设施提供给公众,使人们能够像使用水.电.煤气和电话那样使用计算机资源.微软认为,未来的互联网将会是一个由“云+端”组成的世界. 云的出现不仅改变了我们思考 IT 的方式,也让组织能够从几乎“无限的计算资源”中获得收益: IT角色转变:云计算是 IT管理建设模式的转变,使您可以更专…

概念篇 全方位探(tian)索(keng)Mesos各种存储处理方式 老肖有话说@Mesos User Group第四次约会 技术实践 | Mesos 全方位“烹饪”指南 回顾 JAVA 发展轨迹,看 Docker 与 Mesos Docker 与 Mesos 的前生今世 | 数人云CTO肖德时@KVM分享实录 如何利用 Mesos 持久化存储方案部署 ArangoDB 集群 数据处理平台架构中的SMACK组合:Spark.Mesos.Akka.Cassandra以及Kafka 畅谈 Mesos…

经过多年信息化建设,我们已经进入一个神奇的“大数据”时代,无论是在通讯社交过程中使用的微信.QQ.电话.短信,还是吃喝玩乐时的用到的团购.电商.移动支付,都不断产生海量信息数据,数据和我们的工作生活密不可分.须臾难离. >>>> 什么是大数据 什么是大数据,多大算大,100G算大么?如果是用来存储1080P的高清电影,也就是几部影片的容量.但是如果100G都是文本数据,比如云智慧透视宝后端kafka里的数据,抽取一条mobileTopic的数据如下:[107,55053230546…

IBM 的开放云架构 通过改变业务和社会运行的方式,云计算开启了丰富的创新途径.开发人员现在正将记录系统与参与性系统相结合,一种新的基于云的应用程序风格正在出现:交互系统.这些应用程序要可持续发展,云计算需要构建于开源和开放标准之上.本文仅做一些铺垫工作. Angel Diaz, 副总裁,软件标准和云实验室, IBM 2013 年 9 月 05 日 内容 在 IBM Bluemix 云平台上开发并部署您的下一个应用. 开始您的试用 简介 云计算正在改变我们看待技术的方式,它不会只是昙花一现.用户…

“决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 [第8期互动问答分享] Q1:spark线上用什么版本好? 建议从最低使用的Spark 1.0.0版本,Spark在1.0.0开始核心API已经稳定: 从功能的角度考虑使用最新版本的Spark 1.0.2也是非常好的,Spark 1.0.2在Spark 1.0.1的基础上做了非常多的改进: Spark 1.0.2改进参考 http://spark.apache.org/releases/spark-release-1-0-2.ht…

Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台,它立足于内存计算,性能超过Hadoop百倍,从多迭代批量处理出发,兼收并蓄数据仓库.流处理和图计算等多种计算范式,是罕见的全能选手.Spark采用一个统一的技术堆栈解决了云计算大数据的如流处理.图技术.机器学习.NoSQL查询等方面的所有核心问题,具有完善的生态系统,这直接奠定了其一统云计算大数据领域的霸主地位. 伴随Spark技术的普及推广,对专业人才的需求日益增加.Spark专业人才在未来也是炙手可热,轻而易举可以拿到百万的…

容器为用户打开了一扇通往新世界的大门,真正进入这个容器的世界后,却发现新的生态系统如此庞大.在生产使用中,不论个人还是企业,都会提出更复杂的需求.这时,我们需要众多跨主机的容器协同工作,需要支持各种类型的工作负载,企业级应用开发更是需要基于容器技术,实现支持多人协作的持续集成.持续交付平台.即使Docker只需一条命令便可启动一个容器,一旦试图将其推广到软件开发和生产环境中,麻烦便层出不穷,容器相关的网络.存储.集群.高可用等就是不得不面对的问题.从容器到容器云的进化应运而来. 什么是容器云?…

Apache Hadoop 是一个用java语言实现的软件框架,在由大量计算机组成的集群中运行海量数据的分布式计算,它可以让应用程序支持上千个节点和PB级别的数据. Hadoop并不完全代表云计算,所以,要用Hadoop搭建完整的云计算平台,答案是不够.我们常说云计算,实际上还是通过计算机的大规模或者说海量处理来为生活中各式各样的人和各行各业服务——所以,核心在“服务”.关于服务,展开来就是常用的那3种(也是事实上的标准):SaaS,PaaS,IaaS.对云计算来说,公有和私有,虚拟和存储,这其…

一.        场景 ◆ Spark[4]: Scope:  a MapReduce-like cluster computing framework designed for low-latency iterativejobs and interactive use from an interpreter(在大规模的特定数据集上的迭代运算或重复查询检索) 正如其目标scope,Spark适用于需要多次操作特定数据集的应用场合.需要反复操作的次数越多,所需读取的数据量越大,受益越大,数据量小…

Docker vs. Kubernetes vs. Apache Mesos: Why What You Think You Know is Probably Wrong - Mesosphere https://mesosphere.com/blog/docker-vs-kubernetes-vs-apache-mesos/ 观点|Docker.Kubernetes 和 Apache Mesos 对比中的一些误区 https://linux.cn/article-8751-1.html 有无数…

首先通过一个简单的场景来看一下为什么Docker这么火? 开发人员在开发的时候是有一套开发环境,包括运行的操作系统,依赖的服务比如WebLogic.Java,一些特定的配置,比如JVM大小.字符集,操作系统内核参数等,然后就是应用代码了.当开发完成后,开发人员就把代码打包发送运维人员到生产上部署.运维人员就需要搭建一个和开发环境一样的生产环境,安装操作系统 ,WebLogic,Java,根据基线配置一些参数,过程非常的繁琐.搭建完成后还是可能因为两个环境细微的不同都有可能导致应用程序的部署失败.…

前言 最近正在抽时间编写k8s的相关教程,很是费时,等相关内容初步完成后,再和大家分享.对于k8s,还是上云更为简单.稳定并且节省成本,因此我们需要对主流云服务的容器服务进行了解,以便更好地应用于生产. 目录 主流云服务容器服务介绍  亚马逊AWS  微软Azure  阿里云  腾讯云  Docker+ Kubernetes已成为云计算的主流  什么是Kubernetes(k8s)  Kubernetes正在塑造应用程序开发和管理的未来  Docker+ Kubernetes已成为云计算的主流 …