python批量上传文件到七牛云

引子

七牛云对象存储 Kodo 是七牛云提供的高可靠、强安全、低成本、可扩展的存储服务。您可通过控制台、API、SDK 等方式简单快速地接入七牛存储服务，实现海量数据的存储和管理。通过 Kodo 可以进行文件的上传、下载和管理。

我们通常将图片、音视频、javascript、css等静态资源上传到七牛云，利用cdn提高访问速度。

但是，遗憾的是，七牛云没有提供批量上传指定文件目录中所有文件的功能，而只能单个上传。

棘手的需求

我们有一个基于NextJs构建的web项目，每次发布都会在本地打包，发布的文件成百上千，且目录是多层结构。

通常我们是直接将打包后的文件拷贝到web服务器替换。坏就坏在，里面有个wasm类型的文件超过2.8M，首次加载超过10s,导致整个网站卡顿。

如何解决呢？

从nextjs官网查阅发现,支持为静态资源添加路径前缀并支持发布到CDN。

const isProd = process.env.NODE_ENV === 'production'

module.exports = {

  // Use the CDN in production and localhost for development.

  assetPrefix: isProd ? 'https://cdn.mydomain.com' : '',

}

静态资源上传到 CDN，这是存在目前存在的最大的问题，虽然在next.config.js中可以配置assetPrefix字段，但实际使用起来还是非常困难。

打包后的 js 和 css，引用路由均为/_next/static开头。

假设我们的CDN地址是 http://static.qq.com

<script src="http://static.qq.com/runtime/webpack-4b444dab214c6491079c.js"></script>

最后拼接后的地址是：

<script src="http://static.qq.com/_next/static/runtime/webpack-4b444dab214c6491079c.js"></script>

中间多出了/_next/static的路径，最后的结果是页面需要加载的资源和上传的资源路径不一致，就会各种 404。

无独有偶，也有博友遇到了类似的问题-《nextjs：如何将静态资源发布到 CDN》

化繁为简

复杂的事情简单化。

综合各方的信息，最终决定尝试将_next/static及其文件整体上传到七牛云。

在七牛云的存储目录如下：

根目录/_next/static/

这样代码上就不需要做改动。

唯一要做的就是实现批量上传文件到七牛云。

实战案例

废话不多说,我们现在就用代码来实现上面的需求吧!



# -*- coding: utf-8 -*-

# author: zhikecore

# https://developer.qiniu.com/kodo/1242/python#rs-stat

import os;

from qiniu import Auth, put_file, etag

from qiniu import BucketManager

# 全局变量

# 需要填写你的 Access Key 和 Secret Key

ACCESS_KEY='您申请的七牛云Access Key'

SECRET_KEY='您申请的七牛云Secret Key'

#要上传的空间

BUCKET_NAME = '您申请的七牛云空间名称bucket'

# 遍历文件

def scan_dir(path):

    for root, dirs, files in os.walk(path):

        for file in files:

            filePath=os.path.join(root, file)

            fileDir=os.path.dirname(filePath).replace('\\','/')

            fileKey=fileDir.replace(path,'_next/static')+'/'+file

            #print('fileDir:'+fileDir+',filePath:'+filePath+',fileKey:'+fileKey)

            #delfileKey(fileKey)

            #print("del fileKey："+fileKey+",success!")

            upload(filePath,fileKey)

            print("upload fileKey："+fileKey+",success!")

        for dir in dirs:

            dir=os.path.join(root, dir)

            print(dir)

def upload(filepath,fileKey):

    #构建鉴权对象

    q = Auth(ACCESS_KEY, SECRET_KEY)

    #要上传的空间

    bucket_name = BUCKET_NAME

    #上传后保存的文件名

    key=fileKey

    #生成上传 Token，可以指定过期时间等

    token = q.upload_token(bucket_name, key, 3600)

    #要上传文件的本地路径

    localfile = filepath

    print('key:'+key,"localfile:"+localfile)

    ret, info = put_file(token, key, localfile, version='v2')

    print(info)

    assert ret['key'] == key

    assert ret['hash'] == etag(localfile)

def delfileKey(fileKey):

    #初始化Auth状态

    q = Auth(ACCESS_KEY, SECRET_KEY)

    #初始化BucketManager

    bucket = BucketManager(q)

    #你要测试的空间， 并且这个key在你空间中存在

    bucket_name = BUCKET_NAME

    key = fileKey

    #删除bucket_name 中的文件 key

    ret, info = bucket.delete(bucket_name, key)

    print(info)

# 如果该文件不是被import,则执行下面代码。

if __name__ == '__main__':

    scan_dir('./_next/static')

代码中几乎每行都有注释,这里不再赘述。

至此,代码已经编写完成,我们保存为next_package_upload.py文件。

接下来,就是让代码run起来。

我们再次访问一下网站，查看wasm文件资源的加载速度。

很显然从10s+提升到10ms内，性能大幅提升。

这里需要注意的是,每次发版我会先删除旧的文件，再上传新的文件。delfileKey方法可以根据您的实际选择使用或者不用。

没有安装python环境的新手同学可以参考《Python安装和使用教程（windows）》。

参考