下载

Skill UI

浏览并发现 15558+ 精选技能

全部编程开发人工智能设计创意产品商业数据科学市场营销职场通用效率工具硬件工程语言学习

搜索 GGUF ，共找到 6 条记录

默认排序最新上传最多下载

GGUF量化：高效大模型推理

gguf-quantization

Orchestra-Research/AI-Research-SKILLs

本指南深入介绍GGUF格式和模型量化技术，旨在实现大语言模型（LLM）在消费级硬件上的高效推理。通过采用GGUF标准格式和K-quant方法进行模型压缩，可以显著降低内存和硬件要求，使开发者能够在Apple Silicon、CPU或边缘设备上部署高性能AI应用。

CPU/边缘本地大模型推理

Orchestra-Research/AI-Research-SKILLs

llama.cpp是一个纯C/C++编写的轻量级推理框架，专为在资源受限的设备上运行大型语言模型（LLM）而设计。它特别适用于没有高性能NVIDIA GPU（CUDA）的场景，非常适合Apple Silicon、AMD/Intel GPU以及边缘计算设备。通过支持GGUF量化，可以实现内存占用和推理速度的显著优化，支持本地跨平台部署。

Hugging Face云端大型语言模型训练

hugging-face-model-trainer

sickn33/antigravity-awesome-skills

本技能指导用户利用Hugging Face的云基础设施，进行大型语言模型和视觉模型的专业微调与训练。支持使用TRL（SFT, DPO等）或Unsloth等前沿方法，无需本地GPU环境即可在云端完成复杂的训练任务，并支持将模型转换为GGUF格式进行本地部署。

本地大模型推理与部署专家

local-llm-expert

sickn33/antigravity-awesome-skills

该技能专精于本地大语言模型（LLM）的部署、推理和性能优化。涵盖Ollama、vLLM、llama.cpp等主流推理引擎，以及GGUF、EXL2等主流量化格式。帮助用户在本地硬件上安全、高效地运行先进模型，尤其侧重于隐私保护和离线应用部署。

模型内存需求估算

sickn33/antigravity-awesome-skills

`hf-mem`技能用于估算从Hugging Face Hub加载进行推理所需的Safetensors或GGUF模型权重所需的显存（VRAM）或系统内存。它通过HTTP范围请求实现，无需本地下载。用户可以提前检查模型是否适合其GPU或硬件实例，并支持估算KV缓存及设置最大序列长度。

本地GGUF大型语言模型部署

huggingface-local-models

sickn33/antigravity-awesome-skills

本技能提供了一套完整的指南，用于利用 llama.cpp 框架和 GGUF 格式在本地部署大型语言模型（LLMs）。它涵盖了在 Hugging Face Hub 搜索模型、选择最佳量化配置，以及运行支持 CPU、Mac Metal、CUDA 和 ROCm 等多种硬件后端的本地推理服务器。支持实现兼容 OpenAI 格式的 API 接口，适用于需要离线、私密部署的大模型推理场景。

1

语言