下载

Skill UI

浏览并发现 9185+ 精选技能

全部编程开发人工智能设计创意产品商业数据科学市场营销职场通用效率工具硬件工程语言学习

搜索 DeepSpeed ，共找到 4 条记录

默认排序最新上传最多下载

DeepSpeed 分布式训练指南

Orchestra-Research/AI-Research-SKILLs

指导工程师掌握 DeepSpeed 分布式训练与 DeepNVMe I/O 优化，涵盖 ZeRO、流水线并行、混合精度以及同步/异步写入句柄的使用场景。

简化的分布式训练

huggingface-accelerate

Orchestra-Research/AI-Research-SKILLs

HuggingFace Accelerate 通过四行代码将各种 PyTorch 脚本升级为支持 DDP、DeepSpeed、FSDP 与 Megatron 的分布式训练，自动处理设备调度、混合精度与配置交互，便于快速实验与跨硬件部署。

MoE模型训练与优化

Orchestra-Research/AI-Research-SKILLs

本技能详细介绍了专家混合模型（MoE）的训练方法，涵盖Mixtral、DeepSeek-V3等前沿模型架构。它指导用户如何在计算资源有限的情况下，实现大规模模型能力的扩展和高效训练。核心内容包括Top-k路由机制、负载均衡、专家并行以及使用DeepSpeed和HuggingFace等框架进行优化，显著降低训练成本。

PyTorch Lightning 训练框架

pytorch-lightning

Orchestra-Research/AI-Research-SKILLs

PyTorch Lightning 提供高层训练框架，内置分布式训练（DDP/FSDP/DeepSpeed）、回调、检查点、日志与设备管理，帮助你从笔记本到多节点集群轻松运行高质量模型训练。

1

语言