下载

Skill UI

浏览并发现 9183+ 精选技能

全部编程开发人工智能设计创意产品商业数据科学市场营销职场通用效率工具硬件工程语言学习

搜索 GGUF格式，共找到 2 条记录

默认排序最新上传最多下载

GGUF量化：高效大模型推理

gguf-quantization

Orchestra-Research/AI-Research-SKILLs

本指南深入介绍GGUF格式和模型量化技术，旨在实现大语言模型（LLM）在消费级硬件上的高效推理。通过采用GGUF标准格式和K-quant方法进行模型压缩，可以显著降低内存和硬件要求，使开发者能够在Apple Silicon、CPU或边缘设备上部署高性能AI应用。

本地大模型推理与部署专家

local-llm-expert

sickn33/antigravity-awesome-skills

该技能专精于本地大语言模型（LLM）的部署、推理和性能优化。涵盖Ollama、vLLM、llama.cpp等主流推理引擎，以及GGUF、EXL2等主流量化格式。帮助用户在本地硬件上安全、高效地运行先进模型，尤其侧重于隐私保护和离线应用部署。

1

语言