1. 软件定义数据中心

  1. Mesos的二级调度机制:
    maseos协调每个节点的slave,获取每个节点的机器资源。获取资源后,在相应节点运行framework,在容器中执行任务。从而使得多种类型的服务运行在同一台机器上
  2. mesosphere

2. Messos体系结构

  1. slave:运行在节点上的守护进程
  2. framework:调度器+执行器
    (1)首先:slave向mater汇报该节点所有可用资源。master将该资源转发给framework。
    (2)然后:framework的调度器(scheduler)计算任务需要的具体资源并告知master。
    (3)最后:master通知slave分配这些具体资源,另通知framework的执行器(executer)执行任务

【注】:master不是任务调度的角色,所有已不存在性能瓶颈
framework担任任务调度,这些framework以插件形式扩展。开发者专注自身应用的选择和相应framework的选择

3. Mesos的持久化存储和容错

  1. 持久化存储
    (1)分布式文件系统
    eg:hdfs,这种文件系统有网络延迟问题,某些应用不适用
    (2)使用数据复制的本地文件系统
    eg:NoSql数据库。这需要framework静态预留多个节点作为数据复制存储
    (3)不用复制的本地文件系统
    静态分配一个节点

  2. 容错
    (1)slave:zookeeper实现
    (2)framework调度器:注册多个scheduler到master,当一个scheduler发生异常,master切换另一个scheduler来分配任务。scheduler之间的资源状态共享有framework自己实现
    (3)slave:slave进程消失,不会影响执行器的继续执行。master重启该节点上的slave进程,改重启进程再次连接节点上得executer。
    当slave节点未响应连续多个are you alive的报文后,master从可用资源列表中删除该节点,并报告scheduler该任务执行失败,scheduler执行失败任务处理机制,通常是在新的slave节点上重启该任务
    (4)executer:执行器异常,master通知其scheduler,scheduler执行失败任务处理机制,通常是在新的slave节点上重启该任务

4. Mesos的资源分配(DRF分配)

  1. DRF的目标是:为每个framework在异构环境中获得所需资源的公平份额

Mesos的更多相关文章

  1. Mesos高可用解决方案剖析

    本文作者王勇桥,80后的IT攻城狮,供职于IBM多年,Mesos和Swarm社区的贡献者.本文是他根据自己对Mesos的高可用(High-Availability)设计方案的了解以及在Mesos社区贡 ...

  2. [系统集成] 部署 mesos-exporter 和 prometheus 监控 mesos task

    前几天我在mesos平台上基于 cadvisor部署了 influxdb 和 grafana,用于监控 mesos 以及 docker app 运行信息,发现这套监控系统不太适合 mesos + do ...

  3. [经验交流] 为 mesos framework 分配资源

    前段时间我在办公网搭建了一套mesos平台,用于docker 集群相关的调研和测试,mesos + marathon + docker 架构运行正常.但是在启用了chronos后,marathon无法 ...

  4. mesos 学习笔记1 -- mesos安装和配置

    参考资料: 官方文档:http://mesos.apache.org/documentation 中文翻译:http://mesos.mydoc.io/ GitHub:https://github.c ...

  5. 利用听云Server和听云Network实测Kubernetes和Mesos在高并发下的网络性能

    文章出自:听云博客 随着公司业务的不断增长,我们的应用数量也有了爆发式增长.伴随着应用爆发式的增长,管理的难度也随之加大.如何在业务爆发增长的同时快速完成扩容成了很大的挑战.Docker的横空出世恰巧 ...

  6. mesos+marathon+zookeeper的docker管理集群亲手搭建实例(环境Centos6.8)

    资源:3台centos6.8虚拟机 4cpu 8G内存 ip 10.19.54.111-113 1台centos6.8虚拟机2cpu 8G ip 10.19.53.55 1.System Requir ...

  7. [经验交流] Apache Mesos Docker集群初探

    前言 因工作需要,我对基于Apache Mesos 的 Docker 集群作了一点研究,并搭建了一套环境,以下是资料分享. 1. Apache Mesos概述 Apache Mesos是一款开源群集管 ...

  8. 让spark运行在mesos上 -- 分布式计算系统spark学习(五)

    mesos集群部署参见上篇. 运行在mesos上面和 spark standalone模式的区别是: 1)stand alone 需要自己启动spark master 需要自己启动spark slav ...

  9. mesos框架编译部署

    mesos是什么呢? 一个分布式调度框架,让你编写代码时面对整个集群像面对一台机器那么简单.所有的运行,资源调度都可以由它来帮你搞掂. 1.mesos安装有两种方式: 1)参考官网的getstart, ...

随机推荐

  1. UVA 1151二进制枚举子集 + 最小生成树

    题意:平面上有n个点(1<=N<=1000),你的任务是让所有n个点连通,为此, 你可以新建一些边,费用等于两个端点的欧几里得距离的平方.另外还有q(0<=q<=8)个套餐(数 ...

  2. sumoselect插件

    由于项目需要,研究了下sumoselect插件,接下来简单介绍下sumoselect. 在百度上搜索“sumoselect.js”,查到的网页基本上都有对sumoselect的基本介绍,如下: 简单介 ...

  3. LaTex表格内单元格内容强制换行

    /newcommand{/tabincell}[2]{/begin{tabular}{@{}#1@{}}#2/end{tabular}}%放在导言区 %然后使用&/tabincell{c}{} ...

  4. android view:手势

    一直认为android手势识别很是神奇,我们不分析复杂的手势,仅仅是针对上一次的基本事件的手势处理,分析GestureDetector的源码,来看一下到底手势事件是如何定义的. GestureDete ...

  5. SELF, self in CORE DATA

    Predicate SELF Represents the object being evaluated. CORE DATA Retrieving Specific Objects If your ...

  6. 事件冒泡和事件捕获以及解释target和currenttarget的区别

    冒泡和捕获的区别是冒泡事件是先触发子元素事件,再触发父元素事件,这个是冒泡.捕获是先触发父元素事件,再触发子元素事件.简单的来说,冒泡的顺序是由内到外,捕获的顺序是由外到内 举例:<!DOCTY ...

  7. SQLite数据库在多线程写锁文件的解决办法

    参考了很多SQLITE数据库多线程的解决办法 我自己写了一个SQLITEHELPER 来解决这个问题 希望大家多多指教 调用的时候  SQLLiteDBHelper _SQLLiteDBHelper ...

  8. ie8兼容

    最近在做ie8兼容,把遇到的问题整理了一下 1. margin:0 auto; 无法居中 解决方法:1.换成h4的文档类型 <!DOCTYPE html PUBLIC "-//W3C/ ...

  9. SQL-server的事务,视图和索引

    (1):  A: B: C: D: 选错误A,D 因为bc不对所以选AD,A:关系数据库中,数据是保存在数据页中的,而索引则是存储在索引页中.因此,数据表中的索引并非越多越好,一个表中如果有大量的索引 ...

  10. 如何用selenium webdriver 捕获js error

    ### 问题 捕捉页面上js error ### 解决办法 从Selenium webdriver log 中解析 # -*- coding:utf8 -*- import unittest from ...