参考:http://www.vmtocloud.com/how-to-configure-harbor-registry-to-use-amazon-s3-storage/ s3 bucket权限:更改自己的bucket名称 { "Version": "2012-10-17", "Statement": [ { "Sid": "VisualEditor0", "Effect": &quo…

S3存储(Simple Storage Service) 存储桶:存储桶是S3中用于存储对象的容器.每个对象都存储在一个存储桶中. 对象:对象是S3中存储的基本实体.对象由对象数据和元数据组成.数据部分对S3不透明,元数据是一组描述对象的名称-值对. 键: 键是存储桶中对象的唯一标识符.存储桶内的每个对象都只能有一个键.由于将存储桶.键和版本ID组合在一起可唯一地标识每个对象,可将S3视为一种“存储桶+键+版本”与对象本身间的基本数据映射. 区域:选择地理区域供S3存储创建的存储桶.主要目的是优…

认识Lakehouse 数据仓库被认为是对结构化数据执行分析的标准,但它不能处理非结构化数据. 包括诸如文本.图像.音频.视频和其他格式的信息. 此外机器学习和人工智能在业务的各个方面变得越来越普遍,它们需要访问数据仓库之外的大量信息. 开放的Lakehouse 云计算发展引发了计算与存储分离,这利用了成本优势并能够灵活地存储来自多个来源的数据. 所有这一切都催生了开放Lakehouse的新数据平台架构.现在通过使用 Presto 和 Apache Hudi 等开源和开放格式技术解决了传统云数据…

背景起,有奏乐: 有伟人曰:学习技能的最好途径莫过于理论与实践相结合. 初学Node这货时,每每读教程必会Fall asleep. 当真要开发系统时,顿觉精神百倍,即便踩坑无数也不失斗志. 因为同团队的小伙伴们都在辛勤工作,正是因为他们的工作, 才让我有足够的时间拖着我疲软的智商来研究Node和AWS这些货. 系统完成,虽不尽完善,但不敢怠慢,迅速记录,免遗忘. 为后续更新和开发做一参考. 这就是人生.只要努力,便美美哒. 标题略长,其实这系统要做的事只三件: 1. 从本地上传文件到我们自己的服…

前言 最近有需要用到AWS S3云存储上传附件,这里对利用.NET或.NET Core在调用SDK APi需要注意的一点小问题做个记录,或许能对后续有用到的童鞋提供一点帮助 AWS S3云存储 官方已提供针对.NET/.NET Core针对S3的APi(https://docs.aws.amazon.com/sdkfornet/v3/apidocs/)和SDK demo(https://github.com/awslabs/aws-sdk-net-samples),首先我们下载针对.NET Co…

Amazon Redshift数据迁移到MaxCompute Amazon Redshift 中的数据迁移到MaxCompute中经常需要先卸载到S3中,再到阿里云对象存储OSS中,大数据计算服务MaxCompute然后再通过外部表的方式直接读取OSS中的数据.如下示意图: 前提条件 本文以SQL Workbench/J工具来连接Reshift进行案例演示,其中用了Reshift官方的Query editor发现经常报一些奇怪的错误.建议使用SQL Workbench/J. 下载Amazon R…

当前云已经成为常态,越来越多的企业希望使用云来增加基础设施的弹性.减轻基础设施的维护压力,运维的成本等.很多企业使用云碰到的难题之一是如何将现有的应用迁移到云上,将现有应用的中间件系统.Web系统及其他组件迁移到云上相对容易,一般只需要重新部署或复制即可,但如何将数据库迁移到AWS云中,是很多企业需要面对的一个难题.由于数据库的种类繁多,本文将以Oracle数据库为例,介绍将数据中心的Oracle迁移到云中的基本知识,不同方法涉及的迁移过程,请参考后续的博客. 1.云中数据库的模式 如果要在云中…

Storj新发了白皮书v3,地址是:https://storj.io/storjv3.pdf. 这次白皮书一共有90页,看完还真要费不少时间.如果你没有时间看,可以看一下我这篇快速技术解读. 上次Storj发布白皮书v2的时候,是 2016年12月15日:这次v3版白皮书的发布时间,是2018年11月,距离上次发布白皮书时隔2年时间. 这次白皮书V3相对于白皮书v2来说,务实了很多,给我的整体感觉是:解密了不少实现的细节.全篇白皮书在说Storj去中心化存储的架构细节,区块链部分依然提到的很少.…

对于 redis 的 迁移我在网上看到了很多方法,有使用redis-dump 的,有使用 aof导入方式,有rdb文件迁移方式,和redis-port. 由于我是将  redis  从阿里云迁移到AWS,那么很多方法都被pass掉了,最后我想使用的方法是redis-dump  和redis-port. 1. redis-dump redis-dump这款工具需要用到Ruby,而centos环境中的yum工具可以安装的Ruby版本最高是2.0的版本,而当前Redis最新的4.0版本中需要用到的Ru…

Amazon Simple Storage Service (Amazon S3) Amazon S3 提供了一个简单 Web 服务接口,可用于随时在 Web 上的任何位置存储和检索任何数量的数据.此服务让所有开发人员都能访问同一个具备高扩展性.可靠性.安全性和快速价廉的数据存储基础设施. Amazon S3的简单操作: 开发指南 一.创建请求 1. 使用 AWS 账户或 IAM 用户凭证进行请求 为 AWS 开发工具包配置凭证的最简单方法是使用 AWS 凭证文件,AWS 开发工具包会寻找您的本…