软件下载帮助文档新闻资讯

Skill UI

浏览并发现 19760+ 精选技能

全部编程开发人工智能设计创意产品商业数据科学市场营销职场通用效率工具硬件工程语言学习

搜索 FSDP ，共找到 9 条记录

默认排序最新上传最多下载

TorchTitan 分布式预训练

distributed-llm-pretraining-torchtitan

Orchestra-Research/AI-Research-SKILLs

基于 PyTorch 的 TorchTitan 实现 4D 并行（FSDP2/TP/PP/CP），支持 8~512+ GPU、Float8、编译优化与分布式检查点，用于 Llama 3.1、DeepSeek V3 或自定义大模型的预训练。

简化的分布式训练

huggingface-accelerate

Orchestra-Research/AI-Research-SKILLs

HuggingFace Accelerate 通过四行代码将各种 PyTorch 脚本升级为支持 DDP、DeepSpeed、FSDP 与 Megatron 的分布式训练，自动处理设备调度、混合精度与配置交互，便于快速实验与跨硬件部署。

PyTorch FSDP2 训练流程

Orchestra-Research/AI-Research-SKILLs

指导在训练脚本中正确引入 PyTorch FSDP2 fully_shard，使底层模块逐层分片、配置混合精度与 CPU 卸载、构建依赖 DTensor 的优化器，并依靠分布式检查点处理超过单卡显存或需要 DeviceMesh 分片的模型。

PyTorch闪电：高级训练框架

pytorch-lightning

Orchestra-Research/AI-Research-SKILLs

PyTorch Lightning是基于PyTorch的高级训练框架，旨在大幅简化深度学习模型的训练流程。它自动处理设备管理、分布式训练（DDP/FSDP/DeepSpeed）、混合精度等复杂环节，让用户可以专注于模型本身，轻松实现从本地设备到超级计算机的无缝扩展，提供简洁且具备最佳实践的训练环境。

PyTorch Lightning 深度学习框架

pytorch-lightning

K-Dense-AI/scientific-agent-skills

PyTorch Lightning 是一个深度学习框架，用于组织 PyTorch 代码并消除样板代码。它自动化训练工作流，支持多 GPU/TPU 编排，并实现神经网络训练最佳实践。功能包括 LightningModule、Trainer、数据管道、回调函数、日志记录（W&B、TensorBoard）以及分布式训练策略（DDP、FSDP），适用于可扩展的神经网络训练。

大模型微调基础设施

llm-fine-tuning

sickn33/agentic-awesome-skills

本技能涵盖设置大语言模型（LLM）微调基础设施，包括使用 QLoRA、LoRA 及全量微调技术。涉及配置 DeepSpeed 或 FSDP 分布式训练，利用 Hugging Face TRL 和 Axolotl 框架，并实施 RLHF 和 DPO 对齐方法。适用于领域特定模型适配及生产部署。

Accelerate 分布式训练

distributed-training-accelerate

davila7/claude-code-templates

使用 HuggingFace Accelerate 仅需 4 行代码即可为任意 PyTorch 脚本添加分布式训练支持。统一 API 兼容 DDP、DeepSpeed、FSDP 与 Megatron，自动处理设备分配和 FP16/BF16/FP8 混合精度。

PyTorch分布式训练指南

distributed-training-pytorch-fsdp

davila7/claude-code-templates

提供 PyTorch FSDP 全分片数据并行训练的专家指导，涵盖参数分片、混合精度、CPU 卸载、FSDP2 及大规模分布式训练实践。

PyTorch 分布式训练框架

distributed-training-pytorch-lightning

davila7/claude-code-templates

基于 PyTorch 的高层训练框架，提供 Trainer 类和回调系统，可自动处理 DDP、FSDP、DeepSpeed 分布式训练、混合精度、日志与检查点，显著减少样板代码，并让同一套代码从笔记本扩展到超算。

1

语言