volume.go
package volume
import (
"os"
"path/filepath"
"strconv"
"sync"
"time"
"encoding/binary"
"errors"
)
var (
TruncateSize uint64 = 1 << 30 //1GB
MaxVolumeSize uint64 = 512 * TruncateSize //512GB
)
type Volume struct {
Id uint64
WriteAble bool
index Index
status *Status
dataFile *os.File
mutex sync.Mutex
}
//创建一个卷 或者磁盘空间
func NewVolume(dir string, vid uint64) (v *Volume, err error) {
path := filepath.Join(dir, strconv.FormatUint(vid, 10) + ".data")
v = new(Volume)
v.Id = vid
v.dataFile, err = os.OpenFile(path, os.O_CREATE | os.O_RDWR, 0666)
if err != nil {
if os.IsPermission(err) {//判断是不是权限错误
v.dataFile, err = os.OpenFile(path, os.O_RDONLY, 0)
if err != nil {
return nil, err
}
v.WriteAble = false
} else {
return nil, err
}
}
v.WriteAble = true
v.index, err = NewLevelDBIndex(dir, vid)
if err != nil {
return nil, err
}
v.status, err = NewStatus(dir, vid)
if err != nil {
return nil, err
}
return v, nil
}
//实现index接口
//
func (v *Volume)Get(fid uint64) (*File, error) {
fi, err := v.index.Get(fid)
if err == nil {
return &File{DataFile: v.dataFile, Info: fi}, nil
} else {
return nil, err
}
}
//删除文件
func (v *Volume)Delete(fid uint64, fileName string) error {
v.mutex.Lock()
defer v.mutex.Unlock()
file, err := v.Get(fid)
if err != nil {
return err
} else if file.Info.FileName != fileName {
return errors.New("filename is wrong")
}
//因为文件内容前后都写入fid(8 byte) 要一起释放
err = v.status.freeSpace(file.Info.Offset - 8, file.Info.Size + 16)
if err != nil {
return err
}
err = v.index.Delete(fid)
return err
}
//创建文件
func (v *Volume)NewFile(fid uint64, fileName string, size uint64) (f *File, err error) {
v.mutex.Lock()
defer v.mutex.Unlock()
if v.index.Has(fid) {
return nil, errors.New("fid is existed")
}
offset, err := v.newSpace(size + 16)
if err != nil {
return nil, err
}
defer func() {
if err != nil {
if e := v.status.freeSpace(offset, size + 16); e != nil {
panic(e)
}
}
}()
//在文件内容前后都写入fid
b := make([]byte, 8)
binary.BigEndian.PutUint64(b, fid)
_, err = v.dataFile.WriteAt(b, int64(offset))
if err != nil {
return nil, err
}
_, err = v.dataFile.WriteAt(b, int64(offset + 8 + size))
if err != nil {
return nil, err
}
fileInfo := &FileInfo{
Fid: fid,
Offset: offset + 8,
Size: size,
Ctime: time.Now(),
Mtime: time.Now(),
Atime: time.Now(),
FileName: fileName,
}
err = v.index.Set(fileInfo)
if err != nil {
return nil, err
} else {
return &File{DataFile: v.dataFile, Info: fileInfo}, nil
}
}
//清空文件空间
func (v *Volume)truncate() {
currentDatafileSize := v.GetDatafileSize()
if currentDatafileSize >= MaxVolumeSize {
return
}
//清空指定偏移量位置的数据
err := v.dataFile.Truncate(int64(currentDatafileSize) + int64(TruncateSize))
if err != nil {
panic(err)
}
//释放文件空间
err = v.status.freeSpace(currentDatafileSize, TruncateSize)
if err != nil {
panic(err)
}
}
//分配新的文件空间
func (v *Volume)newSpace(size uint64) (uint64, error) {
offset, err := v.status.newSpace(size)
if err == nil {
return offset, err
}
v.truncate()
return v.status.newSpace(size)
}
//资源释放
func (v *Volume)Close() {
v.mutex.Lock()
//v.status.spaceMutex.Lock()
//因为要退出,所以不解锁,禁止读写
//defer v.rwMutex.Unlock()
//将所有资源释放
v.dataFile.Close()
v.dataFile = nil
v.status.db.Close()
v.status = nil
v.index.Close()
v.index = nil
}
//获取数据文件大小
func (v *Volume)GetDatafileSize() uint64 {
fi, err := v.dataFile.Stat()
if err != nil {
panic(err)
}
return uint64(fi.Size())
}
//获取最大释放文件空间
func (v *Volume)GetMaxFreeSpace() uint64 {
currentDatafileSize := v.GetDatafileSize()
//以块方式存储,所以自由空间无法直接相加
maxFreeSpace := v.status.getMaxFreeSpace()
if currentDatafileSize < MaxVolumeSize {
freeSpace := MaxVolumeSize - currentDatafileSize
if freeSpace > maxFreeSpace {
maxFreeSpace = freeSpace
}
}
//fid前后各占8个字节
if maxFreeSpace > 16 {
return maxFreeSpace - 16
} else {
return 0
}
}
volume.go的更多相关文章
- Java中实现SAX解析xml文件到MySQL数据库
大致步骤: 1.Java bean 2.DBHelper.java 3.重写DefaultHandler中的方法:MyHander.java 4.循环写数据库:SAXParserDemo.java ① ...
- CSharpGL(8)使用3D纹理渲染体数据 (Volume Rendering) 初探
CSharpGL(8)使用3D纹理渲染体数据 (Volume Rendering) 初探 2016-08-13 由于CSharpGL一直在更新,现在这个教程已经不适用最新的代码了.CSharpGL源码 ...
- 理解Docker(8):Docker 存储之卷(Volume)
(1)Docker 安装及基本用法 (2)Docker 镜像 (3)Docker 容器的隔离性 - 使用 Linux namespace 隔离容器的运行环境 (4)Docker 容器的隔离性 - 使用 ...
- Docker Volume 之权限管理(转)
Volume数据卷是Docker的一个重要概念.数据卷是可供一个或多个容器使用的特殊目录,可以为容器应用存储提供有价值的特性: 持久化数据与容器的生命周期解耦:在容器删除之后数据卷中的内容可以保持.D ...
- NFS Volume Provider(Part III) - 每天5分钟玩转 OpenStack(64)
今天我们将前一小节创建的 NFS volume “nfs-vol-1” attach 到 instance “c2”上. 这里我们重点关注 nova-compute 如何将“nfs-vol-1” at ...
- NFS Volume Provider(Part II) - 每天5分钟玩转 OpenStack(63)
上一节我们将 NFS volume provider 配置就绪,本节将创建 volume. 创建 volume 创建 NFS volume 操作方法与 LVM volume 一样,唯一区别是在 vol ...
- NFS Volume Provider(Part I) - 每天5分钟玩转 OpenStack(62)
cinder-volume 支持多种 volume provider,前面我们一直使用的是默认的 LVM,本节我们将增加 NFS volume provider. 虽然 NFS 更多地应用在实验或小规 ...
- Boot from Volume - 每天5分钟玩转 OpenStack(61)
Volume 除了可以用作 instance 的数据盘,也可以作为启动盘(Bootable Volume),那么如何使 volume 成为 bootable 呢? 现在我们打开 instance 的 ...
- Restore Volume 操作 - 每天5分钟玩转 OpenStack(60)
前面我们 backup 了 voluem,今天我们将讨论如何 restore volume. restore 的过程其实很简单,两步走: 在存储节点上创建一个空白 volume. 将 backup 的 ...
- Backup Volume 操作 - 每天5分钟玩转 OpenStack(59)
本节我们讨论 volume 的 Backup 操作. Backup 是将 volume 备份到别的地方(备份设备),将来可以通过 restore 操作恢复. Backup VS Snapshot 初看 ...
随机推荐
- 如何oracle调试存储过程
1.打开PL/SQL Developer 如果在机器上安装了PL/SQL Developer的话,打开PL/SQL Developer界面 输入用户名,密码和host名字,这个跟在程序中web.con ...
- 2018年,请不要再使用OLE生成EXCEL文件
输出EXCEL文件是ABAP开发工作中的常见需求,为了学习相关技术,我翻译过一篇文章:使用OLE2对象创建EXCEL文件,并且一度乐在其中. 最近几个月,经过与若干EXCEL打印程序的艰苦斗争,以及对 ...
- 手动编译Flume
1.源码下载: 我用的是1.6版,因为加了kafka-sink,下载地址 http://www.apache.org/dyn/closer.cgi/flume/1.6.0/apache-flume-1 ...
- MTCNN人脸检测 附完整C++代码
人脸检测 识别一直是图像算法领域一个主流话题. 前年 SeetaFace 开源了人脸识别引擎,一度成为热门话题. 虽然后来SeetaFace 又放出来 2.0版本,但是,我说但是... 没有训练代码, ...
- vue-cli目录结构
- Pod install 之后 no such module
官方文档在pod install之后的操作是: open App.xcworkspace 使用pod以后,项目的旧打开方式就不行了,必须到项目目录里面,打开“项目名.xcworkspace”这种方式来 ...
- .NetCore获取json文件配置内容
.netcore中的数据配置及内容用了json文件代替了之前framework的xml文件,那么json中的数据该怎么获取呢?下面讲解json文件在.net core中的获取方法. 首先,新建一个.n ...
- 「SQL归纳」树形结构表的存储与查询功能的实现——通过路径方法(非递归)
一.树形结构例子分析: 以360问答页面为例:http://wenda.so.com/c/ 我们通过观察URL,可以明确该页面的数据以树形结构存储,下面三块模块分别为: ①根节点 ②根节点的第一层子节 ...
- 完全关闭Hyper-v的方法
众所周知Hyper-v和vmware有冲突,开启Hyper-v功能vmware就不能使用,但即使关闭了也是如此,这是因为功能没有被完全关闭,这里整理下方法,我自己在两台机子亲测有效. win+x,a, ...
- 虚拟机配置Openstack常见问题汇总
之前配置了openstack,遇到一些问题,现在将问题全部汇总记录在这里. (1)问题:主机名字修改不了: 原因:没有进入root状态:或者没有正确打开文件,要打开的是/etc/hostname,结果 ...