前情介绍

SPDK

SPDK的全称为Storage Performance Development Kit ,是Intel发起的一个开源驱动项目,这个是一个开发套件,可以让应用程序在用户态去访问存储资源,具体做能做什么可以去官网看一下 SPDK官网

NVME

NVMe其实与AHCI一样都是逻辑设备接口标准,NVMe全称Non-Volatile Memory Express,非易失性存储器标准,是使用PCI-E通道的SSD一种规范,NVMe的设计之初就有充分利用到PCI-E SSD的低延时以及并行性,还有当代处理器、平台与应用的并行性。SSD的并行性可以充分被主机的硬件与软件充分利用,相比与现在的AHCI标准,NVMe标准可以带来多方面的性能提升。

Bluestore

BlueStore 是用来存储ceph的数据的地方,提供了一种在块设备上直接写入方式的存储。这个是因为之前ceph社区尝试做了一个kvstore,但是性能达不到想要的效果,然后基于rocksdb的原型,重新开发了一套存储系统,BlueStore直接消耗原始分区。还有一个分区是存储元数据的,实际上就是一个RocksDB键/值数据库存储,这个比之前的filestore最大的优势就是去掉了journal,从而提供了更平滑的IO

SPDK+NVME+Bluestore能产生什么化学反应

目前这一块走的比较前沿的就是xsky了,这块的最初的推动力量是Intel,NVME的硬件的推出,需要一个很好的催化剂,传统的内核中断式的访问磁盘的方式,已经不能最大化发挥NVME的性能了,因此推出了SPDK的套件,可以在用户态的去访问磁盘数据,Bluestore按照这个标准就可以去以最大化的跑出磁盘的性能了,从而给上层提供一个非常强悍的IO性能,目前来说这几项都是很新的东西,如果没有特别强的技术,或者找Intel做技术支持话,用好还是需要再等一段时间

开篇

本篇文章做什么

之前有篇文章已经实现了bluestore的配置,这个配置并不难,并且用普通的硬盘就能实现,这里是讲怎么弄出来NVME磁盘,因为NVME的磁盘很贵,并不是每个人都能有环境的,这里是用虚拟化的方式虚拟出nvme,以供以后进行相关的功能验证

准备工作

准备好kvm虚拟化的环境,这个地方就不在这里赘述了,本环境采用的是ubuntu的宿主机,如果是centos需要另做改动,如果有需要欢迎留言

安装操作系统

创建两个磁盘

qemu-img create -f raw /mnt/localdisk.raw  40G
qemu-img create -f raw /mnt/nvme.raw 50G

执行安装操作系统

virt-install --name nvmetest --ram 4096 --vcpus=2 --disk path=/mnt/localdisk.raw --network bridge=br0 --cdrom /mnt/CentOS-7-x86_64-DVD-1503-01.iso --vnclisten=192.168.8.107 --vncport=7000 --vnc --autostart

上面的iso文件需要提前准备,vnclisten就用宿主机的IP即可

都安装好了以后,先停止虚拟机,需要对配置文件做一些改动,因为virsh管理的时候有一些参数是不支持的,这个需要自己做一个 qemu:commandline 的改动

停止掉虚拟机

virsh destroy nvmetest

编辑配置文件

virsh edit nvmetest

内容如下:

<domain type='kvm'>
····
</domain>

修改为:

<domain type='kvm' xmlns:qemu='http://libvirt.org/schemas/domain/qemu/1.0'>
····
<qemu:commandline>
<qemu:arg value='-drive'/>
<qemu:arg value='file=/mnt/nvme.raw,if=none,id=D22,format=raw'/>
<qemu:arg value='-device'/>
<qemu:arg value='nvme,drive=D22,serial=1235'/>
</qemu:commandline>
</domain>

这个地方一定要注意加入的这个固定格式一定要写到最后的位置,否则不生效

检查虚拟机的磁盘是否生成

启动测试的虚拟机

virsh destroy nvmetest

使用vnc连接登陆刚刚的那个vnc的端口

登陆上机器后就可以fdisk -l,



lspci看到的如下

结束

本次实践当中还有一部分是对spdk的代码进行编译的,编译没有问题,并且可以根据测试脚本加载驱动,将nvme磁盘排它性的从内核态移出,但是无法找到如何使用这个用户态的磁盘,在ceph的代码分支中已经包含了spdk部分的代码,在ceph中应该默认可以直接使用这个驱动,使用的方式是 spdk:sdasdasdasd (disk SN) ,但是配置当中如何使用还是无从得知,这一块如果资料会第一时间分析,目前xsky应该能够配置出环境来,本篇涉及的几个东西都是比较新的一些东西,在未来将会极大的提高性能的,目前这个阶段还处于开发阶段

异常处理

执行virsh start nvmetest的时候会提示nvme.raw的磁盘没有访问权限,这个地方卡了很久,不清楚在ubuntu下面居然还有个apparmor的权限问题,是调看系统日志才发现的,下面是处理办法:

执行下面的命令为libvirt禁用 apparmor:

ln -s /etc/apparmor.d/usr.sbin.libvirtd  /etc/apparmor.d/disable/
ln -s /etc/apparmor.d/usr.lib.libvirt.virt-aa-helper /etc/apparmor.d/disable/
apparmor_parser -R /etc/apparmor.d/usr.sbin.libvirtd
apparmor_parser -R /etc/apparmor.d/usr.lib.libvirt.virt-aa-helper

/etc/libvirt/qemu.conf去掉认证的,修改为:

security_driver = "none"

重启libvirt服务

/etc/init.d/libvirt-bin restart

利用虚拟化环境虚拟nvme盘的更多相关文章

  1. windows环境利用apache 配置虚拟主机

    windows环境利用apache 配置虚拟主机 1.改动http.host #LoadModule vhost_alias_module modules/mod_vhost_alias.so #In ...

  2. CentosX64使用yum快速搭建xen虚拟化环境

    Xen的大名想必已经被众SA所熟知.Xen 是一个开放源代码虚拟机监视器,由剑桥大学开发.它打算在单个计算机上运行多达100个满特征的操作系统.操作系统必须进行显式地修改(“移植”)以在Xen上运行( ...

  3. 【原】【BG】-一次虚拟化环境实践简要记录

    部分涉及到Linux.Nginx.tomcat.MySQL等的点滴操作记录,时间长了,就忘掉了,偶尔整理一下操作的history,就此简要备份一下: [原][BG]-一次虚拟化环境实践简要记录: ht ...

  4. 简单利用Clover四叶草安装U盘安装黑苹果

    配置是I5-7600K+技嘉Z270X-UD3+GTX 1050+简单利用Clover四叶草安装U盘安装黑苹果 <ignore_js_op><ignore_js_op> 成功黑 ...

  5. 记一次虚拟化环境下Windows IO性能的解析

    前言随着云计算技术与服务的发展和进步,越来越多的客户选择将业务部署到云端.但由于引入了虚拟化层,在业务部署过程中经常会遇到IO问题,通常也不易调试.本文主要介绍利用perf.systemtap等工具, ...

  6. kvm虚拟化关闭虚拟网卡virbr0的方法

    我们知道:kvm虚拟化环境安装好后,ifconfig会发现多了一个虚拟网卡virbr0这是由于安装和启用了libvirt服务后生成的,libvirt在服务器(host)上生成一个 virtual ne ...

  7. kvm虚拟化学习笔记(一)之kvm虚拟化环境安装

    平时一直玩RHEL/CentOS/OEL系列的操作,玩虚拟化也是采这一类系统,kvm在RHEL6系列操作系统支持比较好,本文采用采用OEL6.3操作系统,网上所有文章都说KVM比xen简单,我怎么感觉 ...

  8. kvm虚拟化环境的搭建

    首先搭建kvm的虚拟化环境,我选择的环境是在vmvare上的Centos 7的虚拟机,在该环境上搭建kvm的虚拟化环境 1:安装虚拟机(该过程自行安装) 2:操作系统环境的设置 (1)修改内核模式为兼 ...

  9. 尝试利用CentOS环境安装LiteSpeed WEB服务环境的过程

    对于普通的网站搭建的环境虚拟主机就足够使用,不过近期公司的网站需要上线VPS主机,于是采用到LNMP(http://lnmp.org/)一键包安装的,运行还是比较好的,这不最近我也开始尝试接触VPS方 ...

随机推荐

  1. 算出cron表达式接下来几次执行时间

    目录 1.使用cron库 2.总结 1.使用cron库 需要使用的go库:[点击跳转]. 具体使用方法可以参照例子使用,下面主要实现计算接下来几次cron表达式执行时间. package main i ...

  2. 很多人都搞不清楚C语言和C++的关系!今天我们来一探究竟为大家解惑~

    最近,身边有许多小伙伴已经开始学习编程了,但是呢,学习又会碰到许多的问题,其中作为新手小白提到最多的问题就是编程语言的选择. 每次遇到这种问题,看起来很简单,但是又有很多小伙伴搞不清编程语言之间的关系 ...

  3. go读取excel表格数据

    go读取excel表格数据 使用工具 github.com/Luxurioust/excelize 百度到的都是使用这个 实际上已经改名了 github.com/360EntSecGroup-Skyl ...

  4. monolog记录日志

    <?php require_once 'vendor/autoload.php'; use Monolog\Formatter\LineFormatter; use Monolog\Logger ...

  5. [开源] .Net ORM FreeSql 1.10.0 稳步向行

    写在开头 FreeSql 是 .NET 开源生态下的 ORM 轮子,转眼快两年了,说真的开源不容易(只有经历过才明白).今天带点干货和湿货给大家,先说下湿货. 认识我的人,知道 CSRedisCore ...

  6. vscode按下F5黑窗口显示的是乱码

    找了很多方法,powershell修改了也变不了 最后找到了这个链接的方法:https://blog.csdn.net/weixin_40040107/article/details/10372155 ...

  7. count=count++

    count=count++ 的最终值是count =count,没加上1,该是啥是啥 count++ 的最终值是加一的值 注意: count = count ++ + 1 最终还是1

  8. python提取视频第一帧图片

    一.实现代码 # -*- coding: utf-8 -*- import cv2 from PIL import Image from io import BytesIO def tryTime(m ...

  9. deployer服务器端的配置

    虽然说是无侵入的部署工具,但是还是需要我们来做一些微小的配置的,因为出于安全考虑,我们一般不会开发 root 用户的 SSH 登录,而是使用其它用户,比如 Ubuntu 默认的 ubuntu 用户.我 ...

  10. Redis学习笔记(一)——安装Redis

    一.概述  Redis是一个开源的使用ANSI C语言编写.支持网络.可基于内存亦可持久化的日执行.Key-Value数据库,并提供多种语言的API. Redis是完全开源免费的,遵守BSD协议,是一 ...