Azure VM的磁盘空间远远不能满足ES集群存储需求(还需除掉VM的临时盘),同时也未找着ES配置 block blob storage 存储的组件,因此下文介绍通过挂载附加盘的方式增加ES集群存储空间容量的操作过程。

目录:

  • LVM基本术语
  • Azure Storage 介绍
  • ES cluster 配置Azure Storage

LVM基本术语


  • LVM:是Linux提供的逻辑盘卷管理(Logical VolumeManager)的简称
  • 物理存储介质(The physical media): 这里指系统的存储设备:硬盘,如:/dev/hda1、/dev/sda等等,是存储系统最低层的存储单元
  • 物理卷(physical volume): 物理卷就是指硬盘分区或从逻辑上与磁盘分区具有同样功能的设备(如RAID),是LVM的基本存储逻辑块,但和基本的物理存储介质(如分区、磁盘等)比较,却包含有与LVM相关的管理参数
  • 卷组(Volume Group): LVM卷组类似于非LVM系统中的物理硬盘,其由物理卷组成。可以在卷组上创建一个或多个“LVM分区”(逻辑卷),LVM卷组由一个或多个物理卷组成
  • 逻辑卷(logical volume): LVM的逻辑卷类似于非LVM系统中的硬盘分区,在逻辑卷之上可以建立文件系统(比如/home或者/usr等)

Azure Storage 介绍


  • Azure 存储空间提供以下四种服务:Blob 存储、表存储、队列存储和文件存储,如下图(主要关注blob storage):
  • Blob Storage: 用于存储非结构化对象数据, 可以是任何类型的文本或二进制数据,例如文档、媒体文件或应用程序安装程序,Blob 存储也称为对象存储
  • 每个 Blob 都组织到一个容器中, 一个存储帐户可以包含任意数目的容器,一个容器可以包含任意数目的 Blob,直至达到存储帐户的容量限制 500 TB
  • Blob 存储提供三种类型的 Blob:block blobs, append blobs, and page blobs (disks).
    1. block blobs: 主要对streaming and storing cloud objects 进行相应的优化,是用于存储文档、介质文件和备份等对象的不错选择
    2. append blobs:类似于block Blob,针对追加操作进行了优化, 适用于新增加的数据写入到 Blob 结尾的场景
    3. page blobs:  对IaaS 磁盘和支持随机写入方面进行了优化, 最大容量仅为1 TB,Azure 虚拟机网络连接的 IaaS 磁盘是一个 VHD (Virtual Hard Drive),存储为page Blob
  • ES的存储暂时未找着配置 block blob storage 的组件或接口,所以使用的是page blob storage, 悲吹的是要承担3位的成本差异,报价对比如下:


ES cluster 配置Azure Storage


  • 新建空磁盘,在Azure portal选择VM: JNES01, 执行“附加空磁盘”, 如下图:最大1T,允许挂多个磁盘
  • 查看: fdisk -l
  • 物理卷: pvcreate /dev/sdc
  • 卷组:vgcreate ESData /dev/sdc
  • 逻辑卷: lvcreate -l 100%FREE -n lves ESData
  • 查看磁盘信息:fdisk -l
  • 格式化:mkfs.xfs -f /dev/mapper/ESData-lves
  • 创建目录:mkdir -p /mnt/data
  • 命令:mount -t xfs /dev/mapper/ESData-lves /mnt/data
  • 命令:blkid /dev/mapper/ESData-lves echo "UUID=`blkid /dev/mapper/ESData-lves  -o value | head -n 1` /mnt/data xfs defaults 0 0" >> /etc/fstab
  • 命令:df -h
  • ES在配置数据的存储目录时,可同时配置为多个,如下:
  • 用 storage explorer 工具查看存储结果 (注意:/dev/sdb1 60G的临时盘看不到), 如下图:

ES(3): ES Cluster Extended Azure Storage的更多相关文章

  1. Azure Queue Storage 基本用法 -- Azure Storage 之 Queue

    Azure Storage 是微软 Azure 云提供的云端存储解决方案,当前支持的存储类型有 Blob.Queue.File 和 Table. 笔者在<Azure File Storage 基 ...

  2. Azure File Storage 基本用法 -- Azure Storage 之 File

    Azure Storage 是微软 Azure 云提供的云端存储解决方案,当前支持的存储类型有 Blob.Queue.File 和 Table. 笔者在<Azure Blob Storage 基 ...

  3. Azure Blob Storage 基本用法 -- Azure Storage 之 Blob

    Azure Storage 是微软 Azure 云提供的云端存储解决方案,当前支持的存储类型有 Blob.Queue.File 和 Table. 笔者在<Azure Table storage ...

  4. Azure Table storage 基本用法 -- Azure Storage 之 Table

    Azure Storage 是微软 Azure 云提供的云端存储解决方案,当前支持的存储类型有 Blob.Queue.File 和 Table,其中的 Table 就是本文的主角 Azure Tabl ...

  5. [New Portal]Windows Azure Storage (14) 使用Azure Blob的PutBlock方法,实现文件的分块、离线上传

    <Windows Azure Platform 系列文章目录> 相关内容 Windows Azure Platform (二十二) Windows Azure Storage Servic ...

  6. [SDK2.2]Windows Azure Storage (15) 使用WCF服务,将本地图片上传至Azure Storage (上) 服务器端代码

    <Windows Azure Platform 系列文章目录> 这几天工作上的内容,把项目文件和源代码拿出来给大家分享下. 源代码下载:Part1 Part2 Part3 我们在写WEB服 ...

  7. [SDK2.2]Windows Azure Storage (16) 使用WCF服务,将本地图片上传至Azure Storage (上) 客户端代码

    <Windows Azure Platform 系列文章目录> 前一章我们完成了服务器端的代码,并且已经发布到了Windows Azure云端. 本章我们将实现客户端的代码,客户端这里我们 ...

  8. Windows Azure Storage (17) Azure Storage读取访问地域冗余(Read Access – Geo Redundant Storage, RA-GRS)

    <Windows Azure Platform 系列文章目录> 细心的用户会发现,微软在国外和国内的数据中心建设都是成对的,比如香港数据中心(Asia East)和新加坡的数据中心(Sou ...

  9. Windows Azure Storage (18) 使用HTML5 Portal的Azure CDN服务

    <Windows Azure Platform 系列文章目录> Update:2015-04-15 如果读者使用的是国内由世纪互联运维的Azure China服务,请参考笔者的文档:Azu ...

随机推荐

  1. POJ 2251 bfs

    DESCRIPTION:给你一个三维的迷宫.问你是否能从起点走到终点.如果能,输出最小步数.对我来说难得就是我没有想到怎么把他给你的三维图转换成map.恩..好像解题报告上说.只要是这种的最短路都要用 ...

  2. Redis (一) 概念安装

    一.阿里云安装Redis 1.安装Redis yum -y install redis 2.启动Redis service redis start 或者(推荐使用) systemctl start  ...

  3. 数据结构(C语言)关于树、二叉树、图的基本操作。

    1) 编写算法函数int equal(tree t1, tree t2),判断两棵给定的树是否等价: int equal(tree t1,tree t2) { int k; if(t1==NULL&a ...

  4. NSScanner

    NSScanner NSScanner:该类主要实现对字符串扫描.并且该扫描必须从头到尾扫描(也可以跳到指定的地方进行扫描),开始扫描必须应用到函数,连续的数字之间可以用空格隔开,如:35 15.2 ...

  5. cocos2d-x 2.0.2升级后某些函数变化(转)

    最近看cocos2d-x 2.0.2发布后升级了一下,升级后发现又出现了很多错误,原来有一些地方的代码用法改变了.在修改代码的过程中,简单做了一些记录,当做是一个备忘录. 1.CCScene和CCLa ...

  6. grafana设置Alert阈值和邮件报警

    首先我们需要在机器上开启smtp/25服务,这里有一个坑,注意,云主机为了防止滥发邮件已经封掉了smtp的所有通信,所以云主机发邮件是有问题的. 安装sendmail,ubuntu用apt,cento ...

  7. ubuntu16上传文件到服务器

    用windows时候,上传文件到服务器,一般都是用xshell和xftp配合使用,用ubuntu就不需要额外安装任何软件了.只用ctrl+alt+t,打开命令行用一句话就可以上传了. 将本地war包上 ...

  8. Eclipse SVN 使用教程

    Eclipse SVN 使用教程 做好以上的准备后打开Eclipse编译器,点击编译器右上角的Open Perspective 打开SVN资源库界面,新建一个资源库 选择资源库的位置,这里我们就用刚才 ...

  9. CentOS LAMP环境 配置详解

    要想在linux上实现网页服务器(www)需要Apache这个服务器软件,不过Apache仅能提供最基本的静态网站数据而已,想要实现动态网站的话,最好还是要PHP与MySQL的支持,所以下面我们将会以 ...

  10. ACdream - 1735:输油管道

    Time Limit: 2000/1000MS (Java/Others) Memory Limit: 262144/131072KB (Java/Others) Problem Descriptio ...