软件下载帮助文档新闻资讯

Skill UI

浏览并发现 18671+ 精选技能

全部编程开发人工智能设计创意产品商业数据科学市场营销职场通用效率工具硬件工程语言学习

搜索 DeepSpeed ，共找到 5 条记录

默认排序最新上传最多下载

DeepSpeed 分布式训练指南

Orchestra-Research/AI-Research-SKILLs

指导工程师掌握 DeepSpeed 分布式训练与 DeepNVMe I/O 优化，涵盖 ZeRO、流水线并行、混合精度以及同步/异步写入句柄的使用场景。

简化的分布式训练

huggingface-accelerate

Orchestra-Research/AI-Research-SKILLs

HuggingFace Accelerate 通过四行代码将各种 PyTorch 脚本升级为支持 DDP、DeepSpeed、FSDP 与 Megatron 的分布式训练，自动处理设备调度、混合精度与配置交互，便于快速实验与跨硬件部署。

MoE模型训练与优化

Orchestra-Research/AI-Research-SKILLs

本技能详细介绍了专家混合模型（MoE）的训练方法，涵盖Mixtral、DeepSeek-V3等前沿模型架构。它指导用户如何在计算资源有限的情况下，实现大规模模型能力的扩展和高效训练。核心内容包括Top-k路由机制、负载均衡、专家并行以及使用DeepSpeed和HuggingFace等框架进行优化，显著降低训练成本。

PyTorch闪电：高级训练框架

pytorch-lightning

Orchestra-Research/AI-Research-SKILLs

PyTorch Lightning是基于PyTorch的高级训练框架，旨在大幅简化深度学习模型的训练流程。它自动处理设备管理、分布式训练（DDP/FSDP/DeepSpeed）、混合精度等复杂环节，让用户可以专注于模型本身，轻松实现从本地设备到超级计算机的无缝扩展，提供简洁且具备最佳实践的训练环境。

大模型微调基础设施

llm-fine-tuning

sickn33/agentic-awesome-skills

本技能涵盖设置大语言模型（LLM）微调基础设施，包括使用 QLoRA、LoRA 及全量微调技术。涉及配置 DeepSpeed 或 FSDP 分布式训练，利用 Hugging Face TRL 和 Axolotl 框架，并实施 RLHF 和 DPO 对齐方法。适用于领域特定模型适配及生产部署。

1

语言