volume.go
package volume
import (
"os"
"path/filepath"
"strconv"
"sync"
"time"
"encoding/binary"
"errors"
)
var (
TruncateSize uint64 = 1 << 30 //1GB
MaxVolumeSize uint64 = 512 * TruncateSize //512GB
)
type Volume struct {
Id uint64
WriteAble bool
index Index
status *Status
dataFile *os.File
mutex sync.Mutex
}
//创建一个卷 或者磁盘空间
func NewVolume(dir string, vid uint64) (v *Volume, err error) {
path := filepath.Join(dir, strconv.FormatUint(vid, 10) + ".data")
v = new(Volume)
v.Id = vid
v.dataFile, err = os.OpenFile(path, os.O_CREATE | os.O_RDWR, 0666)
if err != nil {
if os.IsPermission(err) {//判断是不是权限错误
v.dataFile, err = os.OpenFile(path, os.O_RDONLY, 0)
if err != nil {
return nil, err
}
v.WriteAble = false
} else {
return nil, err
}
}
v.WriteAble = true
v.index, err = NewLevelDBIndex(dir, vid)
if err != nil {
return nil, err
}
v.status, err = NewStatus(dir, vid)
if err != nil {
return nil, err
}
return v, nil
}
//实现index接口
//
func (v *Volume)Get(fid uint64) (*File, error) {
fi, err := v.index.Get(fid)
if err == nil {
return &File{DataFile: v.dataFile, Info: fi}, nil
} else {
return nil, err
}
}
//删除文件
func (v *Volume)Delete(fid uint64, fileName string) error {
v.mutex.Lock()
defer v.mutex.Unlock()
file, err := v.Get(fid)
if err != nil {
return err
} else if file.Info.FileName != fileName {
return errors.New("filename is wrong")
}
//因为文件内容前后都写入fid(8 byte) 要一起释放
err = v.status.freeSpace(file.Info.Offset - 8, file.Info.Size + 16)
if err != nil {
return err
}
err = v.index.Delete(fid)
return err
}
//创建文件
func (v *Volume)NewFile(fid uint64, fileName string, size uint64) (f *File, err error) {
v.mutex.Lock()
defer v.mutex.Unlock()
if v.index.Has(fid) {
return nil, errors.New("fid is existed")
}
offset, err := v.newSpace(size + 16)
if err != nil {
return nil, err
}
defer func() {
if err != nil {
if e := v.status.freeSpace(offset, size + 16); e != nil {
panic(e)
}
}
}()
//在文件内容前后都写入fid
b := make([]byte, 8)
binary.BigEndian.PutUint64(b, fid)
_, err = v.dataFile.WriteAt(b, int64(offset))
if err != nil {
return nil, err
}
_, err = v.dataFile.WriteAt(b, int64(offset + 8 + size))
if err != nil {
return nil, err
}
fileInfo := &FileInfo{
Fid: fid,
Offset: offset + 8,
Size: size,
Ctime: time.Now(),
Mtime: time.Now(),
Atime: time.Now(),
FileName: fileName,
}
err = v.index.Set(fileInfo)
if err != nil {
return nil, err
} else {
return &File{DataFile: v.dataFile, Info: fileInfo}, nil
}
}
//清空文件空间
func (v *Volume)truncate() {
currentDatafileSize := v.GetDatafileSize()
if currentDatafileSize >= MaxVolumeSize {
return
}
//清空指定偏移量位置的数据
err := v.dataFile.Truncate(int64(currentDatafileSize) + int64(TruncateSize))
if err != nil {
panic(err)
}
//释放文件空间
err = v.status.freeSpace(currentDatafileSize, TruncateSize)
if err != nil {
panic(err)
}
}
//分配新的文件空间
func (v *Volume)newSpace(size uint64) (uint64, error) {
offset, err := v.status.newSpace(size)
if err == nil {
return offset, err
}
v.truncate()
return v.status.newSpace(size)
}
//资源释放
func (v *Volume)Close() {
v.mutex.Lock()
//v.status.spaceMutex.Lock()
//因为要退出,所以不解锁,禁止读写
//defer v.rwMutex.Unlock()
//将所有资源释放
v.dataFile.Close()
v.dataFile = nil
v.status.db.Close()
v.status = nil
v.index.Close()
v.index = nil
}
//获取数据文件大小
func (v *Volume)GetDatafileSize() uint64 {
fi, err := v.dataFile.Stat()
if err != nil {
panic(err)
}
return uint64(fi.Size())
}
//获取最大释放文件空间
func (v *Volume)GetMaxFreeSpace() uint64 {
currentDatafileSize := v.GetDatafileSize()
//以块方式存储,所以自由空间无法直接相加
maxFreeSpace := v.status.getMaxFreeSpace()
if currentDatafileSize < MaxVolumeSize {
freeSpace := MaxVolumeSize - currentDatafileSize
if freeSpace > maxFreeSpace {
maxFreeSpace = freeSpace
}
}
//fid前后各占8个字节
if maxFreeSpace > 16 {
return maxFreeSpace - 16
} else {
return 0
}
}
volume.go的更多相关文章
- Java中实现SAX解析xml文件到MySQL数据库
大致步骤: 1.Java bean 2.DBHelper.java 3.重写DefaultHandler中的方法:MyHander.java 4.循环写数据库:SAXParserDemo.java ① ...
- CSharpGL(8)使用3D纹理渲染体数据 (Volume Rendering) 初探
CSharpGL(8)使用3D纹理渲染体数据 (Volume Rendering) 初探 2016-08-13 由于CSharpGL一直在更新,现在这个教程已经不适用最新的代码了.CSharpGL源码 ...
- 理解Docker(8):Docker 存储之卷(Volume)
(1)Docker 安装及基本用法 (2)Docker 镜像 (3)Docker 容器的隔离性 - 使用 Linux namespace 隔离容器的运行环境 (4)Docker 容器的隔离性 - 使用 ...
- Docker Volume 之权限管理(转)
Volume数据卷是Docker的一个重要概念.数据卷是可供一个或多个容器使用的特殊目录,可以为容器应用存储提供有价值的特性: 持久化数据与容器的生命周期解耦:在容器删除之后数据卷中的内容可以保持.D ...
- NFS Volume Provider(Part III) - 每天5分钟玩转 OpenStack(64)
今天我们将前一小节创建的 NFS volume “nfs-vol-1” attach 到 instance “c2”上. 这里我们重点关注 nova-compute 如何将“nfs-vol-1” at ...
- NFS Volume Provider(Part II) - 每天5分钟玩转 OpenStack(63)
上一节我们将 NFS volume provider 配置就绪,本节将创建 volume. 创建 volume 创建 NFS volume 操作方法与 LVM volume 一样,唯一区别是在 vol ...
- NFS Volume Provider(Part I) - 每天5分钟玩转 OpenStack(62)
cinder-volume 支持多种 volume provider,前面我们一直使用的是默认的 LVM,本节我们将增加 NFS volume provider. 虽然 NFS 更多地应用在实验或小规 ...
- Boot from Volume - 每天5分钟玩转 OpenStack(61)
Volume 除了可以用作 instance 的数据盘,也可以作为启动盘(Bootable Volume),那么如何使 volume 成为 bootable 呢? 现在我们打开 instance 的 ...
- Restore Volume 操作 - 每天5分钟玩转 OpenStack(60)
前面我们 backup 了 voluem,今天我们将讨论如何 restore volume. restore 的过程其实很简单,两步走: 在存储节点上创建一个空白 volume. 将 backup 的 ...
- Backup Volume 操作 - 每天5分钟玩转 OpenStack(59)
本节我们讨论 volume 的 Backup 操作. Backup 是将 volume 备份到别的地方(备份设备),将来可以通过 restore 操作恢复. Backup VS Snapshot 初看 ...
随机推荐
- ruby通过telnet读取互联网时间
在前面的博文ntp服务器也谈逆向工程中,本猫曾经武断的认为telnet是无法连接到ntp服务器的.因为当时是这样连接的: telnet time.nist.gov 123,端口号123是在/etc/s ...
- CF633G
题目大意: 给你一棵树,根节点为1 有2种操作,第一种是给u节点所在的子树的所有节点的权值+x 第二种是询问,假设v是子树u中的节点,有多少种质数满足av = p + m·k 做法:维护子树信息显然d ...
- 实例解析Collections源码,Iterator和ListIterator
比如一个视频或文章有多个页面标签设置,我们在看一篇文章或一个视频时,底部有为你推荐栏目. 如何根据这个文章或视频的标签,来实现这个推荐栏目呢. public List<VideoInfoVo&g ...
- 关于如何通过kali linux 攻击以及破解WPA/WPA2无线加密
http://blog.csdn.net/wingstudio_zongheng/article/details/51435212 1.前期准备 1)打开一个终端 执行命令: ifconfig ...
- SQLServer2PostgreSQL迁移过程中的几个问题
1.PostgreSQL 跨平台迁移工具Migration Toolkit的使用指南:http://www.enterprisedb.com/docs/en/8.4/mtkguide/Table%20 ...
- 关于JavaScript的那些话
1.初学者动手环境----推荐Chrome的控制台(F12调用)2.JS中两个非常重要的数据类型是对象和数组.3.JavaScript 程序是用Unicode字符集编写的.4.JavaScript是区 ...
- MySQL 的索引优化
索引类似大学图书馆建书目索引,可以提高数据检索的效率,降低数据库的IO成本.MySQL在300万条记录左右性能开始逐渐下降,虽然官方文档说500~800w记录,所以大数据量建立索引是非常有必要的.My ...
- IsNullOrEmpty与IsNullOrWhiteSpace性能比较
IsNullOrEmpty与IsNullOrWhiteSpace性能谁比较高呢? 在string都是空字符串的情况下: IsNullOrWhiteSpace要比IsNullOrEmpty快大约 1~5 ...
- [译文]Domain Driven Design Reference(一)—— 前言
本书是Eric Evans对他自己写的<领域驱动设计-软件核心复杂性应对之道>的一本字典式的参考书,可用于快速查找<领域驱动设计>中的诸多概念及其简明解释. DDD到目前为止知 ...
- LruCache的使用及原理
采用LRU算法实现的话就是将最老的数据删掉.利用LRU缓存,我们能够提高系统的性能. 一,是它本身已经实现了按照访问顺序的存储,也就是说,最近读取的会放在最前面,最不常读取的会放在最后(当然,它也 ...