DeepSeek-V3

一、与DeepSeek-v2比较

1. 架构和参数（Architecture and Parameters）

• DeepSeek-V3采用 Mixture-of-Experts (MoE) 架构，共有6710亿个参数，每个token仅激活370亿个参数。
• DeepSeek-V2也使用了MoE框架，但是仅有2360亿参数，每个token仅激活210亿个参数。

2. 负载平衡创新（Load Balancing Innovations）

• DeepSeek-V3采用了无辅助损失的负载均衡策略（auxiliary-loss-free load balancing strategy），该策略提高了模型性能，而没有与MoE架构中的负载均衡相关的传统缺点。这种创新确保了所有token在训练和推理过程中都得到有效处理，消除了token丢失。
• DeepSeek-V2需要辅助损失机制，这可能会由于增加通信成本而降低性能。

Note:

"无辅助损失的负载均衡策略"指的是在负载均衡过程中，不依赖于任何额外的辅助损失机制（如辅助损失函数、额外的计算开销或通信开销）来优化系统性能。通常，负载均衡策略旨在将任务或请求合理地分配到多个处理单元，以提高效率并减少过载，但如果引入了辅助损失机制（例如，通过增加额外的模型训练损失来促进任务的平衡），则可能会增加通信成本或计算开销，甚至可能影响系统的整体性能。

"无辅助损失"的策略则意味着在负载均衡的过程中，不依赖于这些额外的损失机制，而是通过更直接、更高效的方式（如动态调整任务分配、资源调度等）来实现负载均衡，避免了性能上的降级和不必要的成本增加。

3. 多令牌预测 （Multi-Token Prediction）

• 在DeepSeek-V3中引入多令牌预测(multi-token prediction)目标，提高了训练效率和推理能力。这允许模型同时预测多个令牌，显著加快处理时间并提高准确性。
• DeepSeek-V2没有包含此功能，这限制了其在推理任务中的效率。

4. 训练效率（Training Efficiency）

• DeepSeek-V3的训练过程非常高效，仅需278.8万GPU小时，与DeepSeek-V2的训练需求相比大幅减少。这种效率是通过高级混合精度技术（FP8）和优化的训练框架实现的。
• DeepSeek-V2的训练方法优化程度较低，导致类似任务的资源消耗更高。
• DeepSeek-V2比DeepSeek 67B节省了42.5%的训练成本(K GPU Hours/ T tokens)，减少了93.3%的kv cache (KB/token)，增加了5.76倍的吞吐率（tokens/sec)

5. 业绩基准（Performance Benchmarks）

• 在性能方面，DeepSeek-V3在各种基准测试中取得了最先进的结果，包括数学推理（mathematical reasoning）和编码任务（coding tasks），MMLU得分为87.1%，BBH** 得分为87.5%。
• 虽然DeepSeek-V2对语言建模做出了重大贡献，但其性能指标不如V3具有竞争力。