软件下载帮助文档新闻资讯

Skill UI

浏览并发现 19760+ 精选技能

全部编程开发人工智能设计创意产品商业数据科学市场营销职场通用效率工具硬件工程语言学习

搜索 FSDP ，共找到 2 条记录

默认排序最新上传最多下载

简化的分布式训练

huggingface-accelerate

Orchestra-Research/AI-Research-SKILLs

HuggingFace Accelerate 通过四行代码将各种 PyTorch 脚本升级为支持 DDP、DeepSpeed、FSDP 与 Megatron 的分布式训练，自动处理设备调度、混合精度与配置交互，便于快速实验与跨硬件部署。

PyTorch FSDP2 训练流程

Orchestra-Research/AI-Research-SKILLs

指导在训练脚本中正确引入 PyTorch FSDP2 fully_shard，使底层模块逐层分片、配置混合精度与 CPU 卸载、构建依赖 DTensor 的优化器，并依靠分布式检查点处理超过单卡显存或需要 DeviceMesh 分片的模型。

1

语言