下载

Skill UI

浏览并发现 7268+ 精选技能

全部编程开发人工智能设计创意产品商业数据科学市场营销职场通用效率工具硬件工程语言学习

搜索注意力，共找到 2 条记录

默认排序最新上传最多下载

闪电注意力优化器

optimizing-attention-flash

Orchestra-Research/AI-Research-SKILLs

Flash Attention 优化器在训练或运行长序列 Transformer 时提供 2-4 倍加速和 10-20 倍内存削减，适用于缓解注意力显存瓶颈与推理延迟，支持 PyTorch 原生 SDPA、flash-attn 库、H100 FP8 及滑动窗口注意力等场景。

高吞吐量大模型服务

serving-llms-vllm

Orchestra-Research/AI-Research-SKILLs

使用 vLLM 的分块注意力、连续批处理、量化与张量并行能力，为 OpenAI 兼容接口提供高吞吐量的生产级大模型服务，兼顾延迟、GPU 利用和扩展性。

1

语言