[源码解析] 并行分布式任务队列 Celery 之 多进程模型 目录 [源码解析] 并行分布式任务队列 Celery 之 多进程模型 0x00 摘要 0x01 Consumer 组件 Pool bootstep 1.1 bootsteps 0x02 进程池入口 -- TaskPool 2.1 进程池初始化 2.2 进程池启动 start 0x03 进程池实现 -- AsynPool 3.1 实例化 3.2 建立通讯机制 queues 3.2.1 _SimpleQueue 3.2.2 Pipe 3…

[源码解析] 深度学习流水线并行 PipeDream(3)--- 转换模型 目录 [源码解析] 深度学习流水线并行 PipeDream(3)--- 转换模型 0x00 摘要 0x01 前言 1.1 改进 1.2 前文回顾 0x02 合成模型 2.1 主体逻辑 2.2 支撑逻辑 0x03 模型转换 3.1 分离子图 3.2 转换模型 3.2.1 转换Module 3.2.2 模版文件 3.2.3 生成文件 3.3 融合模型 3.3.1 main函数逻辑 3.3.2 融合模型 3.3.3 输出 3.…

[源码解析] PyTorch 流水线并行实现 (2)--如何划分模型 目录 [源码解析] PyTorch 流水线并行实现 (2)--如何划分模型 0x00 摘要 0x01 问题 0x01 自动平衡 1.1 Automatic Balancing 1.2 基础函数/函数 1.2.1 Batch 1.2.2 layerwise_sandbox 1.2.3 detach 1.3 据计算时间来平衡 1.4 据内存大小来平衡 1.5 分割算法 0x02 模型划分 2.1 调用 2.2 GPipe构建 2.…

[源码解析] PyTorch 分布式(18) --- 使用 RPC 的分布式管道并行 目录 [源码解析] PyTorch 分布式(18) --- 使用 RPC 的分布式管道并行 0x00 摘要 0x01 综述 1.1 先决条件 1.2 基础知识 0x02 启动 0x03 定义训练循环 0x04 将 ResNet50 模型分片拼接成一个模块 0x05 对 ResNet50 模型进行分区 0xFF 参考 0x00 摘要 在前面的文章之中,我们已经学习了PyTorch 分布式的基本模块,接下来我们通过…

[源码解析] PyTorch 分布式之弹性训练(1) --- 总体思路 目录 [源码解析] PyTorch 分布式之弹性训练(1) --- 总体思路 0x00 摘要 0x01 痛点 0x02 难点 0x03 TorchElastic 3.1 历史 3.1.1 PyTorch 1.7 3.1.2 PyTorch 1.9 3.2 设计理念 3.2.1 基本功能 3.2.2 新设计概述 3.2.3 bare-bones 3.3 小结 0x04 问题 4.1 VS Horovod 4.2 TE 问题 0…

本专栏系列文章已经收录到 GitBooklaravel源码解析 Laravel Passport——OAuth2 API 认证系统源码解析(下)laravel源码解析 Laravel Passport——OAuth2 API 认证系统源码解析(上)laravel源码解析 Laravel Broadcast——广播系统源码剖析laravel源码解析 Laravel Queue——消息队列任务处理器源码剖析laravel源码解析 Laravel Queue——消息队列任务与分发源码剖析laravel…

[源码解析] PyTorch 分布式(15) --- 使用分布式 RPC 框架实现参数服务器 目录 [源码解析] PyTorch 分布式(15) --- 使用分布式 RPC 框架实现参数服务器 0x00 摘要 0x01 综述 0x02 基础网络 0x03 辅助函数 0x04 启动 4.1 启动方式 4.2 启动脚本 4.3 启动参数服务器 4.4 启动worker 4.5 建立参数服务器 0x05 TrainerNet 5.1 总体代码 5.2 生成参数服务器 5.3 建立rref 5.4 前向…

[源码解析] PyTorch 分布式(16) --- 使用异步执行实现批处理 RPC 目录 [源码解析] PyTorch 分布式(16) --- 使用异步执行实现批处理 RPC 0x00 摘要 0x01 前言 1.1 先决条件 1.2 基础知识 1.3 代码 0x02 启动 2.1 总体启动 2.2 启动参数服务器 0x03 参数服务器 0x04 Trainer 0x05 对比 0xFF 参考 0x00 摘要 在前面的文章之中,我们已经学习了PyTorch 分布式的基本模块,接下来我们通过几篇文…

[源码解析] PyTorch 分布式(17) --- 结合DDP和分布式 RPC 框架 目录 [源码解析] PyTorch 分布式(17) --- 结合DDP和分布式 RPC 框架 0x00 摘要 0x00 综述 0x01 启动 0x03 支撑系统 3.1 功能 3.2 使用 3.2.1 混合模型 3.2.2 使用 3.3 定义 3.4 主要函数 0x04 HybridModel 0x05 训练 5.1 初始化 5.2 训练循环 0x06 比对 0xFF 参考 0x00 摘要 在前面的文章之中,…

调度器--GMP 调度模型 Goroutine 调度器,它是负责在工作线程上分发准备运行的 goroutines. 首先在讲 GMP 调度模型之前,我们先了解为什么会有这个模型,之前的调度模型是什么样子的?为什么要改成现在的模式? 我们从当初的Goroutine 调度设计文档得知之前采用了 GM 的调度模型,并且在高并发测试下性能不高.文中提到测试显示 Vtocc 服务器在 8 核机器上的CPU最高为70%,而文件显示 rutime.futex() 就消耗了14%.通常,在性能至关重要的情况下,…