下载

Skill UI

浏览并发现 9167+ 精选技能

全部编程开发人工智能设计创意产品商业数据科学市场营销职场通用效率工具硬件工程语言学习

搜索张量并行，共找到 2 条记录

默认排序最新上传最多下载

高吞吐量大模型服务

serving-llms-vllm

Orchestra-Research/AI-Research-SKILLs

使用 vLLM 的分块注意力、连续批处理、量化与张量并行能力，为 OpenAI 兼容接口提供高吞吐量的生产级大模型服务，兼顾延迟、GPU 利用和扩展性。

Megatron-Core大型语言模型训练

training-llms-megatron

Orchestra-Research/AI-Research-SKILLs

基于 Megatron-Core 提供端到端流程，可训练 2B-462B 参数的大语言模型，使用张量/流水/专家/上下文并行和 H100 上的高效资源利用。

1

语言