JuiceFS 直连 NFS 新功能介绍,赋能 NAS 进行 AI 训练
NAS 通过提供多用户网络数据存取服务,极大地简化了数据共享和管理。而 NFS 作为实现这种共享的一种主流协议,尽管广泛应用,但在处理复杂的 AI 训练场景时常常受限于其性能和一致性问题。
JuiceFS 在最新的1.2版本中增加了直连 NFS 功能,这一创新允许 JuiceFS 直接利用 NAS 上的 NFS 服务,而无需预挂载。 通过 JuiceFS 的直连 NFS 功能,用户可以直接使用现有的 NAS 的存储空间创建 JuiceFS 文件系统,无需额外准备其他的对象存储。
1. 直连 NFS 存储的优势
- 免预先挂载:直接使用 NFS 作为 JuiceFS 的底层存储,无需预先挂载,简化了配置和管理。
- 高性能:JuiceFS 通过缓存和预读等技术,提升了 NFS 存储的性能,支持高并发读写。
- 跨平台共享:JuiceFS 能够将 NFS 存储转换为分布式文件系统,实现了跨平台共享,不仅可以在 Linux、macOS、Windows 等操作系统上使用,还可以在 Hadoop、Kubernetes、Docker 等容器环境中使用。
2. JuiceFS 助力本地 AI 模型训练
借助 JuiceFS,用户可以将训练数据、模型文件等存储在现有的 NAS 上。借助 JuiceFS 的分布式、高性能、高可用的特性,用户可以在多个计算节点上同时访问这些数据,提升 AI 模型训练的效率。
在训练机上,用可以户通过 JuiceFS 挂载点、S3 Gateway、WebDAV、CSI Driver、Hadoop API 等多种方式访问 NAS 上的数据,JuiceFS 会自动缓存数据,提升训练的性能。
JuiceFS 支持多种缓存策略,可以根据不同的场景选择合适的缓存策略,提升训练的性能。例如,可以使用 --cache-size 参数设置缓存大小,使用 --cache-dir 参数指定缓存目录,使用 warmup 策略预读数据等。
更多关于 JuiceFS 的缓存策略,请参考官方文档。
3. 直连 NFS 创建 JuiceFS 文件系统
使用直连 NFS 存储创建 JuiceFS 文件系统的过程十分简单,只需在 NAS 或文件服务器上配置好 NFS 服务,然后在 JuiceFS 创建文件系统时指定 NFS 存储的地址即可。
例如,使用 NFSv3 协议的 NFS 存储,在相同网络内任何安装了 JuiceFS 客户端的计算机上,通过以下命令创建 JuiceFS 文件系统:
sudo juicefs format --storage nfs \
--bucket 192.168.1.88:/data/nfs \
redis://192.168.1.88/0 \
myjfs
其中,--storage nfs 指定了使用 NFS 存储,--bucket 指定了 NFS 存储的地址,redis://192.168.1.88/0 指定了 Redis 作为元数据存储,myjfs 是文件系统的名称。
更多关于直连 NFS 存储的内容,请参考官方文档。
4. 注意事项
在使用 NFS 作为存储层创建 JuiceFS 文件系统时,需要注意以下几点:
- JuiceFS 暂不不支持 NFSv4 的身份认证机制,因此需要遵循 NFSv3 协议配置 NFS 存储,在创建文件系统时也无需指定
--access-key和--secret-key。 - 为了充分发挥 JuiceFS 的缓存能力,建议在 JuiceFS 客户端所在机器上准备充足的高速 SSD 空间作为缓存设备,以提升性能。
- NFS 默认采用 root_squash 机制,它会将 root 身份执行的操作映射为
nobody:nogroup,因此在 NFS 服务器上需要配置好权限,确保 JuiceFS 客户端有权限访问 NFS 存储。
5. 总结
JuiceFS v1.2.0 版本新增的直连 NFS 存储功能,让 JuiceFS 可以更好的与 NAS 配合使用,提升了 JuiceFS 对 NFS 的兼容性,同时也为企业提供了更简易的存储解决方案。用户可以利用现有的存储资源在本地构建高性能、高可用的分布式文件系统,为 AI 模型训练、数据分析等场景提供更好的支持。
欢迎大家下载试用 JuiceFS v1.2.0 版本,体验直连 NFS 创建文件系统,为本地 AI 模型训练提供强大动力!
JuiceFS 直连 NFS 新功能介绍,赋能 NAS 进行 AI 训练的更多相关文章
- CentOS以及Oracle数据库发展历史及各版本新功能介绍, 便于构造环境时有个对应关系
CentOS版本历史 版本 CentOS版本号有两个部分,一个主要版本和一个次要版本,主要和次要版本号分别对应于RHEL的主要版本与更新包,CentOS采取从RHEL的源代码包来构建.例如CentOS ...
- 原创开源项目HierarchyViewer for iOS 2.1 Beta新功能介绍
回顾 HierarchyViewer for iOS是我们发布的一个开源项目,采用GPL v3.0协议. HierarchyViewer for iOS可以帮助iOS应用的开发和测试人员,在没有源代码 ...
- fedora21发布与新功能介绍(附fedora21安装教程与fedora21下载地址)
fedora21发布与新功能介绍(附fedora21安装教程与fedora21下载地址) 最新的Fedora 21终于正式发布了,Fedora Server 是一款强大可定制化的操作系统,包括了最好最 ...
- Unity User Group 北京站:《Unity5.6新功能介绍以及HoloLens开发》
时间一转眼从春天来到了初夏,Unity User Group(以下简称UUG)活动也迎来了第七期.我们面向Unity3D开发从业者以及未来想从事Unity3D开发的学生群体的UUG活动这次仍然在海淀 ...
- Eviews 8.0&9.0界面新功能介绍
Eviews 8.0&9.0界面新功能介绍 本文其中一些是自己的整理,也有一些是经管之家论坛中一位热心.好学坛友的整理,其中只是简单介绍一下这两个新版本的部分特性,分享出来,有兴趣的看客可以一 ...
- Kafka 0.11新功能介绍:空消费组延迟rebalance
Kafka 0.11新功能介绍:空消费组延迟rebalance 在0.11之前的版本中,多个consumer实例加入到一个空消费组将导致多次的rebalance,这是由于每个consumer inst ...
- DevExpress v15.2新功能介绍视频(25集全)
DevExpress v15.2新功能介绍视频(25集全) http://www.devexpresscn.com/Resources/Documentation-508.html DevExpres ...
- 【Linux】Ubuntu18.04镜像下载,新功能介绍
一.Ubuntu18.04镜像下载 官方下载地址:http://releases.ubuntu.com/18.04/ 官方64位iso下载地址:http://releases.ubuntu.com/1 ...
- ORM 创新解放劳动力 -SqlSugar 新功能介绍
介绍 SqlSugar是一款 老牌 .NET 开源ORM框架,由果糖大数据科技团队维护和更新 ,Github star数仅次于EF 和 Dapper 优点: 简单易用.功能齐全.高性能.轻量级.服务齐 ...
- Java 14 新功能介绍
不做标题党,认认真真写个文章. 文章已经收录在 Github.com/niumoo/JavaNotes 和未读代码博客,点关注,不迷路. Java 14 早在 2019 年 9 月就已经发布,虽然不是 ...
随机推荐
- 《最新出炉》系列入门篇-Python+Playwright自动化测试-47-自动滚动到元素出现的位置
1.简介 在我们日常工作中或者生活中,经常会遇到我们的页面内容较多,一个屏幕范围无法完整展示内容,我们就需要滚动滚动条去到我们想要的地方,如下图页面,我们虽然在豆瓣首页,但是内容并不完整,如果我们想要 ...
- Spring6 对 集成MyBatis 开发运用(附有详细的操作步骤)
1. Spring6 对 集成MyBatis 开发运用(附有详细的操作步骤) @ 目录 1. Spring6 对 集成MyBatis 开发运用(附有详细的操作步骤) 每博一文案 2. 大概的实现步骤概 ...
- C# 根据波形图片,提取测试数据点 Winform
其主要思路就是提取图片每个1px宽度上面的像素点,每个宽度只提取一个,并用Point记录这个像素点的 x和y.这样做的前提是图片除了波形有明显颜色以外,其他地方的像素点都能被排除,最方便的就是把排除区 ...
- RunnerGo V4.6.0 新增功能介绍
RunnerGo 最新V4.6.0版本不仅对原有功能进行了深度优化和改进,还新增了一些新功能. UI 插件:浮窗升级,优化浏览体验 此次更新UI插件全新升级至V2.1版本.新版取消了页面内右下角按钮的 ...
- kubernetes: pod升级与回滚扩容与缩容暂停恢复
运行一个容器: apiVersion: apps/v1 kind: Deployment metadata: annotations: deployment.kubernetes.io/revisio ...
- uniapp 组件使用
组件使用情况:页面出现多个相似的页面这个时候我们就可以把公共的页面进行封装,避免冗余的代码 1. compoents 目录下新建组件,名称随意[案例就叫 newsList]2. 开始封装需要多次使用的 ...
- ETL工具-nifi干货系列 第一讲 揭开nifi神秘面纱
1.nifi简介 Apache NiFi 是基于流程编程概念的数据流系统.它支持强大且可扩展的数据路由.转换和系统中介逻辑的有向图.NiFi具有基于Web的用户界面,用于设计.控制.反馈和监控数据流. ...
- MyBatis 的在使用上的注意事项及其辨析
1. MyBatis 的在使用上的注意事项及其辨析 @ 目录 1. MyBatis 的在使用上的注意事项及其辨析 2. 准备工作 3. #{ } 与 ${ } 的区别和使用 {} 3.1 什么情况下必 ...
- FFmpeg开发笔记(三十)解析H.264码流中的SPS帧和PPS帧
<FFmpeg开发实战:从零基础到短视频上线>一书的"2.1.1 音视频编码的发展历程"介绍了H.26x系列的视频编码标准,其中H.264至今仍在广泛使用,无论视频 ...
- HBase2版本的修复工具HBCK2
一.hbase出现的问题 1.元数据表hbase:namespace 不在线 导致查询数据时 master is initing 2.一些表的region一直处于opening状态 3.region ...