今天在写一个分类网络时,要使用nn.Sequential中的一个模块,因为nn.Sequential中模块都没有名字,我一时竟无从下笔.于是决定写这篇博客梳理pytorch的nn.Module类,看完这篇博客,你大概率可以学会: 提取nn.Sequential中任意一个模块 能初始化一个网络的所有权重,不管是随机初始化还是使用权重文件 对nn.Module类有个总体把握 1 __init__方法 我们先不看代码,自己小脑袋里想一想这个类应该有什么东西.既然这个类是和各种layer相关,里面一定存…

论文地址为:Cognitive Graph for Multi-Hop Reading Comprehension at Scale github地址:CogQA 背景 假设你手边有一个维基百科的搜索引擎,可以用来获取实体对应的文本段落,那么如何来回答下面这个复杂的问题呢? “谁是某部在2003年取景于洛杉矶Quality cafe的电影的导演?” 很自然地,我们将会从例如Quality cafe这样的“相关实体”入手,通过维基百科查询相关介绍,并在其中讲到好莱坞电影的时候迅速定位到“Old S…

[源码解析] 深度学习流水线并行Gpipe(1)---流水线基本实现 目录 [源码解析] 深度学习流水线并行Gpipe(1)---流水线基本实现 0x00 摘要 0x01 概述 1.1 什么是GPipe 1.2 挑战 0x02 并行机制 2.1 机制分类与权衡 2.1.1 数据并行 2.1.2 模型并行 2.1.3 流水线并行 2.2 如何使用 0x03 Pytorch 手动指定并行方式 3.1 基础知识 3.2 特点 3.3 基本用法 3.4 将模型并行化应用于现有模块 3.5 通过流水线输入…

[源码解析] 深度学习流水线并行GPipe (2) ----- 梯度累积 目录 [源码解析] 深度学习流水线并行GPipe (2) ----- 梯度累积 0x00 摘要 0x01 概述 1.1 前文回顾 0x02 基本概念 2.1 背景知识 2.2 产生原因 2.3 本质 2.4 VS 数据并行 2.5 解决问题 0x03 PyTorch 梯度累积 3.1 自动累积 3.2 代码示例 3.3 DistributedDataParallel 的梯度累积 3.3.1 单卡模型梯度累计 3.3.2 D…

[源码解析] 深度学习流水线并行之PopeDream(1)--- Profile阶段 目录 [源码解析] 深度学习流水线并行之PopeDream(1)--- Profile阶段 0x00 摘要 0x01 概述 1.1 前文回顾 1.2 目前问题 1.2.1 数据并行 1.2.2 模型并行 1.2.3 Gpipe 0x02 论文 2.1 方案概述 2.1.1 并行方式 2.1.2 1F1B 0x03 流水线 3.1 流水线改进 3.2 挑战 3.4 流水线划分算法 3.5 Profile 0x04…

[源码解析] 深度学习流水线并行 PipeDream(3)--- 转换模型 目录 [源码解析] 深度学习流水线并行 PipeDream(3)--- 转换模型 0x00 摘要 0x01 前言 1.1 改进 1.2 前文回顾 0x02 合成模型 2.1 主体逻辑 2.2 支撑逻辑 0x03 模型转换 3.1 分离子图 3.2 转换模型 3.2.1 转换Module 3.2.2 模版文件 3.2.3 生成文件 3.3 融合模型 3.3.1 main函数逻辑 3.3.2 融合模型 3.3.3 输出 3.…

[源码解析] 深度学习流水线并行 PipeDream(4)--- 运行时引擎 目录 [源码解析] 深度学习流水线并行 PipeDream(4)--- 运行时引擎 0x00 摘要 0x01 前言 1.1 前文回顾 1.2 运行时系统 1.2.1 PyTorch 的特点 1.2.2 PyTorch RPC Distributed RPC framework APIs [Now Stable] 1.2.3 PipeDream的特性 1.2.4 结合起来 0x02 使用 2.1 如何调用 2.2 总体逻…

[源码解析] 深度学习分布式训练框架 horovod (21) --- 之如何恢复训练 目录 [源码解析] 深度学习分布式训练框架 horovod (21) --- 之如何恢复训练 0x00 摘要 0x01 总论 0x02 Sampler 2.1 PyTorch Distributed Optimizer 2.1.1 定义 2.1.2 问题点 2.2 ElasticSampler 2.2.1 定义 2.2.2 弹性方案 2.2.2.1 常规流程 2.2.2.2 异常处理 2.2.1 如何使用 2…

[源码解析] PyTorch 流水线并行实现 (1)--基础知识 目录 [源码解析] PyTorch 流水线并行实现 (1)--基础知识 0x00 摘要 0x01 历史 1.1 GPipe 1.2 torchgpipe 1.3 fairscale 1.4 PyTorch 1.5 基础版本 0x02 基础知识 2.1 流水线并行 2.2 Checkpointing 2.2.1 基本概念 2.2.2 使用 2.2.3 实现概述 2.3 微批次的数目 2.4 检查重计算 0x03 使用 3.1 示例…

[源码解析] PyTorch 流水线并行实现 (2)--如何划分模型 目录 [源码解析] PyTorch 流水线并行实现 (2)--如何划分模型 0x00 摘要 0x01 问题 0x01 自动平衡 1.1 Automatic Balancing 1.2 基础函数/函数 1.2.1 Batch 1.2.2 layerwise_sandbox 1.2.3 detach 1.3 据计算时间来平衡 1.4 据内存大小来平衡 1.5 分割算法 0x02 模型划分 2.1 调用 2.2 GPipe构建 2.…