下载

Skill UI

浏览并发现 10388+ 精选技能

全部编程开发人工智能设计创意产品商业数据科学市场营销职场通用效率工具硬件工程语言学习

搜索 FSDP2 ，共找到 2 条记录

默认排序最新上传最多下载

TorchTitan 分布式预训练

distributed-llm-pretraining-torchtitan

Orchestra-Research/AI-Research-SKILLs

基于 PyTorch 的 TorchTitan 实现 4D 并行（FSDP2/TP/PP/CP），支持 8~512+ GPU、Float8、编译优化与分布式检查点，用于 Llama 3.1、DeepSeek V3 或自定义大模型的预训练。

PyTorch FSDP2 训练流程

Orchestra-Research/AI-Research-SKILLs

指导在训练脚本中正确引入 PyTorch FSDP2 fully_shard，使底层模块逐层分片、配置混合精度与 CPU 卸载、构建依赖 DTensor 的优化器，并依靠分布式检查点处理超过单卡显存或需要 DeviceMesh 分片的模型。

1

语言