下载

Skill UI

浏览并发现 6051+ 精选技能

全部编程开发人工智能设计创意产品商业数据科学市场营销职场通用效率工具硬件工程语言学习

搜索预训练，共找到 2 条记录

默认排序最新上传最多下载

TorchTitan 分布式大模型预训练

distributed-llm-pretraining-torchtitan

Orchestra-Research/AI-Research-SKILLs

TorchTitan 提供 PyTorch 原生的 4D 并行分布式大语言模型预训练能力，涵盖 FSDP2/TP/PP/CP、Float8、torch.compile 与分布式检查点，可在 8 到 512+ GPUs 上训练 Llama 3.1、DeepSeek V3 等模型。

Pyvene 因果干预框架

pyvene-interventions

Orchestra-Research/AI-Research-SKILLs

面向 PyTorch 模型的声明式因果干预工具，包含激活修补、因果追踪与互换干预训练，便于研究者验证模型组件的因果作用并共享实验。

1

语言