pjd-fstest: 参考网址:https://www.tuxera.com/community/posix-test-suite/ fstest是一套简化版的文件系统POSIX兼容性测试套件,它可以工作在FreeBSD, Solaris, Linux上用于测试UFS, ZFS, ext3, XFS and the NTFS-3G等文件系统.fstest目前有3601个回归测试用例,测试的系统调用覆盖chmod, chown, link, mkdir, mkfifo, open, rename…

各位社区的伙伴, JuiceFS v1.0 RC1 今天正式发布了!这个版本中,最值得关注的是对元数据迁移备份工具 dump/load 的优化. 这个优化需求来自于某个社区重度用户,这个用户在将亿级数量文件的元数据从 Redis 迁移至 TiKV 时遇到了内存占用过高的问题,我们接到反馈后着手优化,最终使 dump 所需内存降低 95%,load 所需内存降低 80%. 下面,我们来为你详细解读一下 JuiceFS v1.0 RC1 的主要变化. 元数据迁移备份工具 dump/load 命令的优…

元数据是存储系统的核心大脑,元数据性能对整个大数据平台的性能和扩展能力至关重要.尤其在处理海量文件的时候.在平台任务创建.运行和结束提交阶段,会存在大量的元数据 create,open,rename 和 delete 操作.因此,在进行文件系统选型时,元数据性能可谓是首当其冲需要考量的一个因素. 目前主流的大数据存储方案中, HDFS 是使用最为广泛的方案,已经过十几年的沉淀和积累:以 Amazon S3 为代表的对象存储是近年来云上大数据存储的热门方案:JuiceFS 是大数据圈的新秀,专为云…

理想汽车是中国新能源汽车制造商,设计.研发.制造和销售豪华智能电动汽车,于 2015 年 7 月创立,总部位于北京,已投产的自有生产基地位于江苏常州,通过产品创新及技术研发,为家庭用户提供安全及便捷的产品及服务. 在中国,理想汽车是成功实现增程式电动汽车商业化的先锋,首款及目前唯一一款商业化的增程式电动汽车车型理想 ONE 是一款六座中大型豪华电动 SUV(运动型多用途汽车), 配备了增程系统及先进的智能汽车解决方案,于 2019 年 11 月开始量产, 并于 2021 年 5 月 25 日推出…

理想汽车在 Hadoop 时代的技术架构 首先简单回顾下大数据技术的发展,基于我个人的理解,将大数据的发展分了4个时期: 第一个时期: 2006 年到 2008 年.2008 年左右,Hadoop 成为了 Apache 顶级项目,并正式发布了 1.0 版本,它的基础主要是基于谷歌的三驾马车,GFS.MapReduce.BigTable 去定义的. 第二个时期: 2009 年到 2013 年阶段.雅虎.阿里.Facebook 等企业对大数据的应用越来越多.2013 年底 Hadoop 正式发布 2…

背景 乾象投资 Metabit Trading 成立于2018年,是一家以人工智能为核心的科技型量化投资公司.核心成员毕业于 Stanford.CMU.清北等高校.目前,管理规模已突破 30 亿元人民币. Metabit 非常重视基础平台的建设,有一支强大的 Research Infrastructure 团队.团队试图打破在单机上进行研发的壁垒,利用云计算进行更高效.安全的工具链研发. 01 量化的研究都在做什么 作为一家成立时间不久的量化投资机构,我们在对基础存储平台进行选型时,会受到这样两…

云知声是一家专注于语音及语言处理的技术公司.Atlas 超级计算平台是云知声的计算底层基础架构,为云知声在 AI 各个领域(如语音.自然语言处理.视觉等)的模型迭代提供训练加速等基础计算能力.Atlas 平台深度学习算力超过 57 PFLOPS(5.7 亿亿次/秒,是的你没有看错,是亿亿次] ),深度学习算力是衡量一个 AI 平台计算性能的核心指标.除了满足公司内部的业务需求,平台也为外部企业和院校机构提供定制化计算服务. 本文主要分享云知声 Atlas 超算平台(以下简称 Atlas)的存储建…

SeaweedFS 是一款高效的分布式文件存储系统,最早的设计原型参考了 Facebook 的 Haystack,具有快速读写小数据块的能力.本文将通过对比 SeaweedFS 与 JuiceFS 在设计与功能上的差异,以帮助读者进行更适合自己的选择. SeaweedFS 系统结构 SeaweedFS 由 3 部分组成,底层存储文件的 Volume Server,用于管理集群的 Master Server,以及一个向上提供更多特性的 Filer 可选组件. Volume Server 与 Mas…

传统的机器学习模型,数据集比较小,模型的算法也比较简单,使用单机存储,或者本地硬盘就足够了,像 JuiceFS 这样的分布式存储并不是必需品. 随着近几年深度学习的蓬勃发展,越来越多的团队开始遇到了单机存储的瓶颈,分布式存储在 AI 领域的重要性不断凸显.AI 团队通常会面临以下几种问题: 数据集太大 随着数据量和模型规模的增加,单机存储往往无法满足需求.为解决这些问题,就需要使用分布式存储. 历史数据集需要进行全量归档 在某些应用场景每天都会产生大量新的数据集,这些数据集在一段时间后将变为历史…

小伙伴们大家好,JuiceFS v0.17 在国庆小长假来临之际如期发布了!这是我们在 2021 年秋季推出的第二个版本,让我们直奔主题,看看都有哪些新变化吧. 本次更新累计 80+ 提交,共有 9 位来自 JuiceFS 社区的小伙伴在 GitHub 上贡献代码.在这里,我们向每一位贡献者表示最诚挚的感谢,同时欢迎屏幕前的你也加入到 JuiceFS 开源社区,贡献代码.文档或讨论想法. 通过 LTP 1270 项测试,Linux 系统下兼容性更完美 JuiceFS 的最新版本针对 Linux…