Latest News – DeepSpeed

DeepSpeed是一款易用的深度学习优化软件套件，专注于为训练和推理提供前所未有的规模与速度支持。它能助力用户训练或推理数十亿甚至数万亿参数的稠密或稀疏模型，提升系统吞吐量并高效扩展至数千块GPU，同时适配资源受限的GPU系统，实现推理的低延迟、高吞吐量，以及极致压缩以降低成本。

核心创新支柱
DeepSpeed围绕四个核心方向展开技术创新：
1. DeepSpeedTraining：集合ZeRO、3DParallelism、DeepSpeedMoE、ZeROInfinity等系统创新，让大规模深度学习训练更高效、易用，重新定义了训练规模的可能。
2. DeepSpeedInference：融合张量、管道、专家及ZeRO并行技术，搭配高性能自定义推理内核、通信优化和异构内存技术，实现大规模推理的低延迟与高吞吐量。
3. DeepSpeedCompression：提供易使用、可灵活组合的压缩技术（如ZeroQuant、XTC），帮助研究者和从业者压缩模型，实现更快速度、更小尺寸及更低压缩成本。
4. DeepSpeed4Science：聚焦通过AI系统技术创新，助力领域专家解决重大科学问题，有专门的网站和教程支持。

软件套件组成
1. DeepSpeed Library：将训练、推理、压缩支柱的技术整合为一个开源库，支持在单一训练、推理或压缩 pipeline 中组合多种功能，被深度学习社区广泛采用，用于训练诸多强大模型。
2. Model Implementations for Inference (MII)：开源库，无需用户手动进行复杂系统优化，即可实现低延迟、高吞吐量推理。开箱即支持数千种常用深度学习模型（基于DeepSpeedInference优化），几行代码即可部署，比原生版本延迟显著降低。
3. DeepSpeed on Azure：推荐在Azure环境使用，通过AzureML recipes简化部署流程，提供 job 提交和数据准备脚本，还有专门的Azure教程指导使用。

应用与整合
大模型训练：被用于训练MegatronTuring NLG (530B)、Jurassic1 (178B)、BLOOM (176B)、GLM (130B)等超大模型。
框架整合：与Hugging Face Transformers、Accelerate、PyTorch Lightning、MosaicML等主流开源深度学习框架深度集成，是微软“AI at Scale”计划的核心组成部分。

贡献与资源
贡献指南：欢迎社区贡献，提供格式、测试等细节指导，需签署Contributor License Agreement（CLA）并遵守Microsoft Open Source Code of Conduct。
出版物：有多篇论文发表在ICML、NeurIPS、SC等顶级会议，内容涵盖ZeRO、DeepSpeedMoE、ZeroQuant、DeepSpeedChat等核心技术。
视频资源：包括KDD 2020教程（覆盖 overview、ZeRO、17B TNLG demo、Fastest BERT training 等）、微软研究 webinar、AzureML使用视频、LLMs in Prod会议演讲，以及社区制作的教程（如Mark Saroufim、Yannic Kilcher的解读）。

DeepSpeed通过系统优化技术，让大规模深度学习更易获取，助力开发者和研究者突破模型规模与速度的限制。