下载

Skill UI

浏览并发现 10321+ 精选技能

全部编程开发人工智能设计创意产品商业数据科学市场营销职场通用效率工具硬件工程语言学习

搜索 DTensor ，共找到 1 条记录

默认排序最新上传最多下载

PyTorch FSDP2 训练流程

Orchestra-Research/AI-Research-SKILLs

指导在训练脚本中正确引入 PyTorch FSDP2 fully_shard，使底层模块逐层分片、配置混合精度与 CPU 卸载、构建依赖 DTensor 的优化器，并依靠分布式检查点处理超过单卡显存或需要 DeviceMesh 分片的模型。

1

语言