软件下载帮助文档新闻资讯

Skill UI

浏览并发现 18950+ 精选技能

全部编程开发人工智能设计创意产品商业数据科学市场营销职场通用效率工具硬件工程语言学习

搜索 DeepSpeed ，共找到 3 条记录

默认排序最新上传最多下载

MoE模型训练与优化

Orchestra-Research/AI-Research-SKILLs

本技能详细介绍了专家混合模型（MoE）的训练方法，涵盖Mixtral、DeepSeek-V3等前沿模型架构。它指导用户如何在计算资源有限的情况下，实现大规模模型能力的扩展和高效训练。核心内容包括Top-k路由机制、负载均衡、专家并行以及使用DeepSpeed和HuggingFace等框架进行优化，显著降低训练成本。

PyTorch闪电：高级训练框架

pytorch-lightning

Orchestra-Research/AI-Research-SKILLs

PyTorch Lightning是基于PyTorch的高级训练框架，旨在大幅简化深度学习模型的训练流程。它自动处理设备管理、分布式训练（DDP/FSDP/DeepSpeed）、混合精度等复杂环节，让用户可以专注于模型本身，轻松实现从本地设备到超级计算机的无缝扩展，提供简洁且具备最佳实践的训练环境。

大模型微调基础设施

llm-fine-tuning

sickn33/agentic-awesome-skills

本技能涵盖设置大语言模型（LLM）微调基础设施，包括使用 QLoRA、LoRA 及全量微调技术。涉及配置 DeepSpeed 或 FSDP 分布式训练，利用 Hugging Face TRL 和 Axolotl 框架，并实施 RLHF 和 DPO 对齐方法。适用于领域特定模型适配及生产部署。

1

语言