MinIO入门】的更多相关文章

对象存储不是什么新技术了,但是从来都没有被替代掉.为什么?在这个大数据发展迅速地时代,数据已经不单单是简单的文本数据了,每天有大量的图片,视频数据产生,在短视频火爆的今天,这个数量还在增加.有数据表明,当今世界产生的数据,有80%是非关系型的.那么,对于图片,视频等数据的分析可以说是大数据与人工智能的未来发展方向之一. ​ ​ 但是如何存储这些数据呢?商用云方案往往价格昂贵,而传统的大数据解决方案并不能充分支撑图片,视频数据的存储与分析.本文将详细的介绍开源的对象存储解决方案Minio的部署与实…
官方文档地址:http://docs.minio.org.cn/docs/master/python-client-quickstart-guide MinIO Python Client SDK提供简单的API来访问任何与Amazon S3兼容的对象存储服务. 最低要求 Python 2.7或更高版本 使用pip安装 pip install minio 初始化MinIO Client MinIO client需要以下4个参数来连接MinIO对象存储服务. 参数 描述 endpoint 对象存储…
官方文档地址:http://docs.minio.org.cn/docs/master/minio-client-quickstart-guide MinIO Client (mc)为ls,cat,cp,mirror,diff,find等UNIX命令提供了一种替代方案.它支持文件系统和兼容Amazon S3的云存储服务(AWS Signature v2和v4). ls 列出文件和文件夹. mb 创建一个存储桶或一个文件夹. cat 显示文件和对象内容. pipe 将一个STDIN重定向到一个对象…
官方文档地址:http://docs.minio.org.cn/docs/master/distributed-minio-quickstart-guide Minio服务基于命令行传入的参数自动切换成单机模式还是分布式模式. 分布式Minio可以让你将多块硬盘(甚至在不同的机器上)组成一个对象存储服务.由于硬盘分布在不同的节点上,分布式Minio避免了单点故障. 分布式Minio好处 在大数据领域,通常的设计理念都是无中心和分布式.Minio分布式模式可以帮助你搭建一个高可用的对象存储服务,你…
官方文档地址:http://docs.minio.org.cn/docs/master/minio-docker-quickstart-guide 在Docker中运行MinIO单点模式 MinIO 需要一个持久卷来存储配置和应用数据.不过, 如果只是为了测试一下, 您可以通过简单地传递一个目录(在下面的示例中为/ data)启动MinIO.这个目录会在容器启动时在容器的文件系统中创建,不过所有的数据都会在容器退出时丢失. docker run -p 9000:9000 minio/minio…
官方文档地址:http://docs.minio.org.cn/docs/ MinIO 是在 GNU Affero 通用公共许可证 v3.0 下发布的高性能对象存储. 它是与 Amazon S3 云存储服务兼容的 API. 使用 MinIO 为机器学习.分析和应用程序数据工作负载构建高性能基础架构. 对于 Kubernetes 环境,请使用 MinIO Kubernetes Operator(https://github.com/minio/operator/blob/master/README…
官方文档地址:http://docs.minio.org.cn/docs/master/minio-erasure-code-quickstart-guide Minio使用纠删码erasure code和校验和checksum来保护数据免受硬件故障和无声数据损坏. 即便您丢失一半数量(N/2)的硬盘,您仍然可以恢复数据. 什么是纠删码erasure code 纠删码是一种恢复丢失和损坏数据的数学算法, Minio采用Reed-Solomon code将对象拆分成N/2数据和N/2 奇偶校验块.…
本文源码:GitHub·点这里 || GitEE·点这里 一.MinIO简介 1.基础描述 MinIO是一个开源的对象存储服务.适合于存储大容量非结构化的数据,例如图片.视频.日志文件.备份数据和容器/虚拟机镜像等,而一个对象文件可以是任意大小,从几kb到最大5T不等. MinIO是一个非常轻量的服务,可以很简单的和其他应用的结合,类似 NodeJS, Redis 或者 MySQL. 2.存储机制 MinIO使用按对象的嵌入式擦除编码保护数据,该编码以汇编代码编写,可提供最高的性能.MinIO使…
目前可用于文件存储的网络服务选择有很多,比如阿里云OSS.七牛云.腾讯云等等,但是收费都有点小贵.为了帮公司节约成本,之前一直是使用fastDFS作为文件服务器,准确的说是图片服务器.直到我发现了MinIO,我决定放弃FastDFS. 关于MinIO的使用方法,我就不说了.大家去看MinIO官网地址:docs.min.io/cn/ ,非常详细.我就从对比的角度来说说我为什么果断的放弃了fastDFS,转而使用MinIO作为图片存储服务器. 理由一:安装部署(运维)复杂度 之前公司在使用fastD…
目录 一.MinIO快速入门 1. MinIO简介 2. CentOS7更换成阿里云镜像 3. 安装 3.1 下载 3.2 运行测试 4. 配置脚本执行文件 4.1 创建配置执行文件 4.2 执行 二.分布式MinIO快速入门 1. 分布式MinIO快速入门 1.1 分布式Minio有什么好处? 1.2 数据保护 1.3 高可用 1.4 一致性 2. 配置运行分布式Minio 2.1 将access秘钥和secret秘钥export成环境变量 2.2 启动分布式Minio实例 2.3 配置成启动…