下载

Skill UI

浏览并发现 5145+ 精选技能

全部编程开发人工智能设计创意产品商业数据科学市场营销职场通用效率工具硬件工程语言学习

搜索 AWQ ，共找到 1 条记录

默认排序最新上传最多下载

激活感知权重量化

awq-quantization

Orchestra-Research/AI-Research-SKILLs

AWQ 通过激活感知的 4-bit 权重量化，在有限 GPU 内存、使用 vLLM 或 Marlin 内核时，为指令调优或多模态大模型提供约 3 倍推理加速且误差低于 5%。

1

语言