基于腾讯云存储网关 CSG 实现视频在线转码分发

一、背景

随着越来越多的传统业务云化和云端业务发展，数据上云和云端数据处理领域的需求爆发式增长。腾讯云存储网关CSG提供一键部署开箱即用的便捷模式，深度结合COS对象存储生态，为用户提供方便快捷的数据上云通道，有效满足业务数据备份、数据上云和云上数据处理的需求。

腾讯云存储网关CSG提供文件语义到对象存储语义的转换，依托COS对象存储的海量存储能力，使用户通过本地文件协议即可读写云端COS数据，无需对现有业务做任何侵入式开发，即可使业务获得接近无限容量的文件系统使用能力，借助CSG热数据缓存能力，业务数据上云后业务侧还能够高效对COS里的业务数据进行后续加工处理。

二、业务场景

下文将以视频转码分发业务场景为例，带您了解CSG在该场景的应用。

业务侧生产出原始视频流H264文件，通过CSG将H264文件素材同步到COS，同步后再将H264文件作为输入继续转码成TS视频文件，最终将TS文件的COS访问链接发布到客户端侧，供各类客户端访问。

业务架构示意图：

1、依据业务规模部署存储网关CSG，通过腾讯云存储网关控制台一键部署或者通过腾讯云COS控制台一键部署。

CSG控制台一键部署网关

COS控制台一键部署网关

2、业务服务器中挂载CSG文件系统。

使用下列命令实现 NFS v4.0 挂载

sudo mount -t nfs -o vers=4 <挂载点IP>:/share/nfs/<文件系统名称即bucket名称> <待挂载目标目录>

3、业务上传原始h264视频文件到CSG文件系统素材目录。

4、业务通过CSG文件系统，直接对素材目录中的文件执行转码操作，输出新文件到转码输出目录。通过CSG执行转码操作和本地磁盘执行转码操作在默认情况下性能接近，当使用自定义SSD机型的CSG时，将获得比本地普通磁盘更高的IO性能，单台CSG吞吐量可达1GB/s。

5、原始素材和转码后的文件均通过CSG同步到COS存储桶，实现素材和输出文件同步到云端COS。

6、通过SCF云函数感知COS存储桶转码目录路径中的对象创建事件，将对象创建事件发布到业务指定CMQ消息队列。

SCF云函数示例

7、业务服务通过业务指定CMQ消息队列进行消费，获取转码文件已成功上传到COS的事件信息，将对应文件的COS加速域名发布到客户端服务，使客户端能够通过COS加速域名下载浏览最终文件。

三、结语

存储网关CSG依托COS对象存储生态，为业务提供接近无限容量文件系统的使用能力。

通过存储网关的热数据缓存能力，业务能够对流程中前一步上传的文件进行高效加工处理，直接在CSG生产出后续业务流程所需的数据，并通过CSG将这些数据自动同步至COS。

整个数据上云和数据处理过程，均通过本地文件系统接口来操作，无需业务做侵入式改造，即可使业务数据上云并对数据进行加工处理，并可直接在云端生产出最终结果数据，结合后续SCF云函数和CMQ消息队列的腾讯云平台能力，可轻松和业务服务联动将云端COS数据链接分发至用户业务客户端。