准备 repo配置 yum clean all yum makecache yum install -y make automake autoconf gcc nss-devel wget git glib2 安装corosync 参考:https://github.com/sheepdog/sheepdog/wiki/Install%20From%20Sources yum remove corosync corosynclib corosynclib-devel -y git clone g…

Sheepdog,是由NTT的3名日本研究员开发的开源项目,主要用来为虚拟机提供块设备. 其架构例如以下: 以下,我们将从架构.模块等几个方面来介绍下: 一.架构图 如上图: 採用无中心节点的全对称架构,无单点故障,存储容量和性能可线性扩展: 新增节点通过简单配置可自己主动增加(IP:PORT),数据自己主动实现负载均衡: 节点故障时,数据可自己主动恢复: 直接支持QEMU/KVM应用: 二.模块 如上图: 由corosync,完毕集群成员管理和消息传递: 由Qemu作为Sheepdog的cli…

sheepdog是近几年开源社区新兴的分布式块存储文件系统,采用完全对称的结构,没有类似元数据服务的中心节点.这种架构带来了线性可扩展性,没有单点故障和容易管理的特性.对于磁盘和物理节点,SheepDog实现了动态管理容量以及隐藏硬件错误的特性.对于数据管理,SheepDog利用冗余来实现高可用性,并提供自动恢复数据数据,平衡数据存储的特性.除此之外,sheepdog还有具有零配置.高可靠.智能节点管理.容量线性扩展.虚拟机感知(底层支持冷热迁移和快照.克隆等).支持计算与存储混合架构的特点等.…

1.sheepdog中http simple storage中nginx后台配置文件模板留存: events { worker_connections 1024;} http { server { listen 80; server_name localhost; location / { fastcgi_pass localhost:8000; fastcgi_param SCRIPT_NAME $fastcgi_script_name; fastcgi_param REQUEST_METHO…

Sheepdog,是由NTT的3名日本研究员开发的开源项目,主要用来为虚拟机提供块设备. 其架构例如以下: 以下,我们将从架构.模块等几个方面来介绍下: 一.架构图 如上图: 採用无中心节点的全对称架构,无单点故障,存储容量和性能可线性扩展: 新增节点通过简单配置可自己主动增加(IP:PORT),数据自己主动实现负载均衡: 节点故障时,数据可自己主动恢复: 直接支持QEMU/KVM应用: 二.模块 如上图: 由corosync,完毕集群成员管理和消息传递: 由Qemu作为Sheepdog的cli…

zookeeper 安装命令 yum install zookeeper -y            (版本:zookeeper.x86_64      3.4.6-1) yum install zookeeper-lib -y     (版本:zookeeper-lib.x86_64   3.4.6-1) 配置文件:/etc/zookeeper/zoo.cfg 作如下修改: maxClientCnxns=50 tickTime=2000 initLimit=10 syncLimit=5 dat…

1.corosync,single ring最多支持50个节点:zookeeper,500个节点可稳定支撑,1000-1500个节点挑战比较大,需要优化消息传递机制. 2.sheepdog一开始为分布式块存储,如今覆盖多个应用领域,包括IAAS,File Server,冷数据存储等. 3.sheepdog目前满足可用性(iSCSI多路径机制).持久性(全副本或EC冗余策略).可扩展性(负载均衡,IO节点可扩展).可管理性(自动恢复和卷管理).无单点,具有GC机制(sheepgdogV0.9.1以…

…

OpenStack 由 Glance 提供 Image 服务. 理解 Image 要理解 Image Service 先得搞清楚什么是 Image 以及为什么要用 Image? 在传统 IT 环境下,安装一个系统是要么从安装 CD 从头安装,要么用 Ghost 等克隆工具恢复.这两种方式有如下几个问题: 如果要安装的系统多了效率就很低 时间长,工作量大 安装完还要进行手工配置,比如安装其他的软件,设置 IP 等 备份和恢复系统不灵活 云环境下需要更高效的解决方案,这就是 Image. Image…

一点调研资料,比较浅,只是觉得部分内容比较有用,记在这里: 首先,关于云计算,要理解什么是SAAS.PAAS.IAAS,这里不述:关于虚拟化,需要知道什么是Hypervisor,这里也不述: OpenStack是什么 OpenStack是一个由美国宇航局NASA与Rackspace公司共同开发的云计算平台项目,且通过Apache许可证授权开放源码.它可以帮助服务商和企业实现类似于Amazon EC2和S3的云基础架构服务.下面是OpenStack官方给出的定义: OpenStack is a c…

这个资料关于分布式系统资料,作者写的太好了.拿过来以备用 网址:https://github.com/ty4z2008/Qix/blob/master/ds.md 希望转载的朋友,你可以不用联系我．但是一定要保留原文链接,因为这个项目还在继续也在不定期更新．希望看到文章的朋友能够学到更多． <Reconfigurable Distributed Storage for Dynamic Networks> 介绍:这是一篇介绍在动态网络里面实现分布式系统重构的paper.论文的作者(导师)是MIT…

html,body { } .CodeMirror { height: auto } .CodeMirror-scroll { } .CodeMirror-lines { padding: 4px 0px } .CodeMirror pre { } .CodeMirror-scrollbar-filler,.CodeMirror-gutter-filler { background-color: white } .CodeMirror-gutters { border-right-width:…

由来:FNV哈希算法全名为Fowler-Noll-Vo算法,是以三位发明人Glenn Fowler,Landon Curt Noll,Phong Vo的名字来命名的,最早在1991年提出. 特点和用途:FNV能快速hash大量数据并保持较小的冲突率,它的高度分散使它适用于hash一些非常相近的字符串,比如URL,hostname,文件名,text,IP地址等. 算法版本:FNV算法有三个版本:FNV-0(已废弃).FNV-1和FNV-1a FNV-1和FNV-1a算法对于最终生成的哈希值(has…

本系列文章会总结 QEMU/KVM 和 Ceph 之间的整合: (1)QEMU-KVM 和 Ceph RBD 的 缓存机制总结 (2)QEMU 的 RBD 块驱动(block driver) (3)存储卷挂接和设备名称 1. QEMU 的 RBD 块驱动 QEMU/KVM 虚机中的磁盘(disk drive),可能虚拟自 Hypervisor 上的 qcow2,raw 等格式的镜像文件,也可能来自网络块设备存储系统比如 Ceph 的一个卷等.QEMU 使用一套统一的插件式的块设备驱动架构,它定义…

学习 KVM 的系列文章: (1)介绍和安装 (2)CPU 和 内存虚拟化 (3)I/O QEMU 全虚拟化和准虚拟化(Para-virtulizaiton) (4)I/O PCI/PCIe设备直接分配和 SR-IOV (5)libvirt 介绍 (6)Nova 通过 libvirt 管理 QEMU/KVM 虚机 (7)快照 (snapshot) (8)迁移 (migration) 1. Libvirt 是什么 为什么需要Libvirt? Hypervisor 比如 qemu-kvm 的命令行虚…

0.背景 OpenStack 中的实例是不能持久化的,cinder服务重启,实例消失.如果需要挂载 volume,需要在 volume 中实现持久化.Cinder提供持久的块存储,目前仅供给虚拟机挂载使用.它并没有实现对块设备的管理和实际服务,而是为后端不同的存储结构提供了统一的接口,不同的块设备服务厂商在 Cinder 中实现其驱动支持以与 OpenStack 进行整合.它通过整合后端多种存储,用API接口为外界提供存储服务.主要核心是对卷的管理,允许都卷.类型和快照进行处理. Cinder存…

SCSI  小型计算机系统接口(SCSI,Small Computer System Interface)是一种用于计算机及其周边设备之间(硬盘.软驱.光驱.打印机.扫描仪等)系统级接口的独立处理器标准.SCSI标准定义命令.通信协议以及实体的电气特性(换成OSI的说法,就是占据物理层.链接层.套接层.应用层),最大部分的应用是在存储设备上(例如硬盘.磁带机):但,其实SCSI可以连接的设备包括有扫描仪.光学设备(像CD.DVD).打印机--等等,SCSI命令中有条列出支持的设备SCSI周边设备…

一.走进云计算 云计算:云计算是一种按使用量付费的模式,这种模式提供可用的.便捷的.按需的网络访问, 进入可配置的计算资源共享池(资源包括网络,服务器,存储,应用软件,服务),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互. 1.云计算的特点和优势 1)云计算是一种使用模式 2)云计算必须通过网络访问 3)弹性计算,按需付费 2.在云计算之前的模式或技术 1)IDC托管 2)IDC租用 3)虚拟主机(卖空间的) 4)vps:虚拟专有主机,openvz超卖很坑人的,x…

胡凯,bilibili运维负责人,曾经就职于金山软件.金山网络.猎豹移动,负责运维相关工作.Bilibili是国内最大的年轻人潮流文化娱乐社区,银河系知名弹幕视频分享UGC平台.   95后二次元新人类的追捧,让以视频弹幕.UP主闻名于世的bilibili(以下简称B站)愈发火爆,无数年轻人通过电脑.手机.电视等终端设备在B站上追番.看弹幕,特别是新番上线时的访问压力是非常大的,这就给B站的IT运维团队带来了巨大压力.胡凯在去年加入B站刚刚成立的运维部,人少事多,遇到了很多坑. 本文根据作者在“…

作者:廖君链接:https://www.zhihu.com/question/19868791/answer/88873783来源:知乎 分布式系统(Distributed System)资料 <Reconfigurable Distributed Storage for Dynamic Networks> 介绍:这是一篇介绍在动态网络里面实现分布式系统重构的paper.论文的作者(导师)是MIT读博的时候是做分布式系统的研究的,现在在NUS带学生,不仅仅是分布式系统,还有无线网络.如果感兴趣…

源码下载安装 git clone -b stable/icehouse https://github.com/openstack/cinder.git pip install -r requirements.txt python setup.py install 安装cinder-api.cinder-scheduler 参考: https://github.com/yongluo2013/osf-openstack-training/blob/master/installation/opens…

OpenStack是一个由NASA(美国国家航空航天局)和Rackspace合作研发并发起的,以Apache许可证授权的自由软件和开放源代码项目. OpenStack支持几乎所有类型的云环境,项目目标是提供实施简单.可大规模扩展.丰富.标准统一的云计算管理平台.OpenStack通过各种互补的服务提供了基础设施即服务(IaaS)的解决方案,每个服务提供API以进行集成. OpenStack云计算平台,帮助服务商和企业内部实现类似于 Amazon EC2 和 S3 的云基础架构服务(Infrast…

nova-compute是管理和配置虚拟机的入口,在所有compute机器上都需要该服务来创建和管理虚拟机. nova-compute服务的入口在 nova.cmd.compute:main ,其启动过程与其他nova服务类似. 简单看下它是如何启动的, binary='nova-compute', topic='nova.compute.rpcapi' ,  manager=nova.compute.manager.ComputeManager ,manager类在初始化的时候会创建与其他服务…

原文:http://www.hengtianyun.com/download-show-id-101.html 块存储,简单来说就是提供了块设备存储的接口.用户需要把块存储卷附加到虚拟机(或者裸机)上后才可以与其交互.这些卷都是持久的,它们可以被从运行实例上解除或者重新附加而数据保持完整不变.OpenStack 中的实例是不能持久化的,需要挂载 volume,在 volume 中实现持久化.Cinder 就是提供对 volume 实际需要的存储块单元的实现管理功能. 1.单机块存储 1.1 LV…

摘自恒天云:http://www.hengtianyun.com/download-show-id-8.html 1. 概述 常见的IaaS开源平台有OpenStack.CloudStack.Eucalyptus和OpenNebula,公开的现状报告和社区分析显示,OpenStack和CloudStack的在企业接受度和社区的发展情况已经远远超越另外两者,如图1所示.本研究报告将对OpenStack和 CloudStack这两个最为流行的开源云平台进行对比,为企业在进行私有云建设时的技术选型提供…

一.它是什么,能干什么想认识一个事物,必须先弄明白它是什么,能干什么.首先说一下,openstack是一个搭建云平台的一个解决方案,说他不是个软件,但是我觉得说是一个软件,能够让大家认识更清晰些.openstack能干什么,可以搭建公有云,私有云,企业云.(顺便说一下,企业云将是openstack的用武之地) 二.openstack组成上面是一个整体的认识,想进一步了解openstack,就必须了解它的组成.其实这有点像研究生物.一般生物都有眼睛,鼻子,嘴等.那么openstack,都有什么.o…

OpenStack系统有几个关键的项目,它们能够独立地安装但是能够在你的云计算中共同工作.这些项目包括:OpenStack Compute,OpenStack Object Storage,OpenStack Identity Service,以及OpenStack Image Service.你可以独立地安装这些项目中的任何一个,然后即可以独立也可以把它们作为一个联合体来配置.这个指导手册指导用有用的包(packages)在ubuntu12.10上的一个安装.这个手册也提供了一个与给出的配置文…

  一.它是什么,能干什么   想认识一个事物,必须先弄明白它是什么,能干什么.   首先说一下,openstack是一个搭建云平台的一个解决方案,说他不是个软件,但是我觉得说是一个软件,能够让初学者更容易接受和理解,在后期的慢慢接触过程中,大家就能够理解,为什么说它不是一个软件.openstack能干什么,可以搭建公有云,私有云,企业云.(顺便说一下,企业云将是openstack的用武之地)     二.openstack组成   上面是一个整体的认识,想进一步了解openstack,就必须了…

1. 自己在家搭建openstack,使用RDO搭建自己的openstack环境,不必源码方式搭建,只要搭建起来就好,越快越好 --以RDO方式,搭建一个all-in-one的主机,只需要租一台虚拟机即可,配置搞高一点,比如8核32G,看看阿里云上要多少钱 2. 在openstack增加一个完全的服务,仿照cinder,包含api,scheduler和driver,比如storage-api,storage-scheduler,storage-driver,整个服务叫storage,然后做一个s…

一.cinder概述: 1.F版之前,并没有cinder,对应的组件为nova-volume:以Rest API的形式提供服务 2.cinder目标: 减少nova的复杂性,降低nova的负载,支持多种后端存储,增加和其他组件之间的交互: 后端存储包括isics 以及ceph等: cinder提供的是后端存储的适配器,而不是实现了存储系统: 提供块存储.虚拟机磁盘: 3.API service:负责接收和处理Rest请求,并将请求放入RabbitMQ/Qpid队列中: 4.Scheduler s…