下载

Skill UI

浏览并发现 5938+ 精选技能

全部编程开发人工智能设计创意产品商业数据科学市场营销职场通用效率工具硬件工程语言学习

搜索 VLLM ，共找到 10 条记录

默认排序最新上传最多下载

激活感知权重量化

awq-quantization

Orchestra-Research/AI-Research-SKILLs

AWQ 通过激活感知的 4-bit 权重量化，在有限 GPU 内存、使用 vLLM 或 Marlin 内核时，为指令调优或多模态大模型提供约 3 倍推理加速且误差低于 5%。

LLM 评估工具套件

evaluating-llms-harness

Orchestra-Research/AI-Research-SKILLs

通过 lm-evaluation-harness 在 MMLU、HumanEval、GSM8K 等 60 多个学术基准上，对 HuggingFace/vLLM/API 模型进行对比评测、训练追踪并输出统一报告，适合实验室发布与质量监控。

半二次量化模型

hqq-quantization

Orchestra-Research/AI-Research-SKILLs

HQQ 提供无需校准数据的半二次量化，支持 1-8 位、可配置多个推理后端（PyTorch、TorchAO、BitBlas、Marlin），适合极速量化流程、零数据部署及 HuggingFace/vLLM 上的 PEFT/LoRA 微调。

LlamaGuard 内容审核

Orchestra-Research/AI-Research-SKILLs

LlamaGuard 是 Meta 提供的 7-8B 参数审核模型，能在输入/输出端识别暴力仇恨、性内容、武器、毒品、自伤、犯罪策划等六类风险，支持 vLLM、HuggingFace、FastAPI 和 NeMo Guardrails 的部署。

OpenRLHF高性能训练

openrlhf-training

Orchestra-Research/AI-Research-SKILLs

OpenRLHF 是基于 Ray 与 vLLM 的高性能 RLHF 框架，通过 ZeRO-3 与 GPU 资源共享加速 PPO、GRPO、RLOO 和 DPO 等算法的 7B-70B+ 大模型分布式训练。

结构化文本生成

Orchestra-Research/AI-Research-SKILLs

Outlines 通过 CFG+FSM 策略配合 Pydantic 模型，确保 JSON/XML 等结构化输出合法，并兼容 Transformer、vLLM、llama.cpp 等本地模型，方便高性能推理。

高吞吐量大模型服务

serving-llms-vllm

Orchestra-Research/AI-Research-SKILLs

使用 vLLM 的分页注意力、连续批处理、量化与张量并行等机制，在受限 GPU 内存下高效部署大模型服务，适合生产 API、离线批推理与高并发场景。

Torchforge 强化学习训练指南

torchforge-rl-training

Orchestra-Research/AI-Research-SKILLs

Torchforge RL Training 介绍了 Meta 的 PyTorch 原生强化学习框架 torchforge，强调算法与基础设施的隔离，便于用 GRPO/SFT 等损失做实验，并借助 Monarch、TorchTitan 和 vLLM 进行多卡大规模训练，同时提供配置与监控要点。

verl 强化学习训练指南

verl-rl-training

Orchestra-Research/AI-Research-SKILLs

使用 verl 的 HybridFlow 框架，在数百亿参数模型上以 PPO、GRPO、DAPO 等算法进行 RLHF 后训练，支持多种训练后端、带工具的多轮 rollout 及评估。

Hugging Face 评估管理

hugging-face-evaluation

sickn33/antigravity-awesome-skills

该技能在 Hugging Face 模型卡中添加结构化评估数据，支持从 README 表格提取、从 Artificial Analysis 导入基准分数，并借助 vLLM/lighteval 运行自定义评估，自动生成 model-index 格式元数据并可通过 Jobs 或 PR 提交更新。

1

语言