软件下载帮助文档新闻资讯

Skill UI

浏览并发现 19182+ 精选技能

全部编程开发人工智能设计创意产品商业数据科学市场营销职场通用效率工具硬件工程语言学习

搜索 llama.cpp ，共找到 7 条记录

默认排序最新上传最多下载

CPU/边缘本地大模型推理

Orchestra-Research/AI-Research-SKILLs

llama.cpp是一个纯C/C++编写的轻量级推理框架，专为在资源受限的设备上运行大型语言模型（LLM）而设计。它特别适用于没有高性能NVIDIA GPU（CUDA）的场景，非常适合Apple Silicon、AMD/Intel GPU以及边缘计算设备。通过支持GGUF量化，可以实现内存占用和推理速度的显著优化，支持本地跨平台部署。

结构化文本生成器

Orchestra-Research/AI-Research-SKILLs

Outlines 通过 Pydantic 模型与语法驱动的有限状态机在生成时约束 token，使 JSON/XML/代码结构必然有效，并支持 Transformers、llama.cpp 与 vLLM 等本地模型，实现高速推理与抽样控制。

本地大模型推理与部署专家

local-llm-expert

sickn33/antigravity-awesome-skills

该技能专精于本地大语言模型（LLM）的部署、推理和性能优化。涵盖Ollama、vLLM、llama.cpp等主流推理引擎，以及GGUF、EXL2等主流量化格式。帮助用户在本地硬件上安全、高效地运行先进模型，尤其侧重于隐私保护和离线应用部署。

Pi 终端编程助手

K-Dense-AI/scientific-agent-skills

介绍如何使用与构建 Pi —— 一个极简的终端编程助手框架。涵盖安装配置、供应商与模型设置、TypeScript 扩展、技能与包、主题、SDK 嵌入、RPC 与 JSON 事件流、会话解析、本地 llama.cpp 模型、自定义供应商、TUI 组件，以及 pi-subagents、pi-mcp-adapter 等生态包。

本地GGUF大型语言模型部署

huggingface-local-models

sickn33/antigravity-awesome-skills

本技能提供了一套完整的指南，用于利用 llama.cpp 框架和 GGUF 格式在本地部署大型语言模型（LLMs）。它涵盖了在 Hugging Face Hub 搜索模型、选择最佳量化配置，以及运行支持 CPU、Mac Metal、CUDA 和 ROCm 等多种硬件后端的本地推理服务器。支持实现兼容 OpenAI 格式的 API 接口，适用于需要离线、私密部署的大模型推理场景。

本地运行 Hugging Face 模型

huggingface-local-models

sickn33/agentic-awesome-skills

本技能用于在本地使用 llama.cpp 和 GGUF 格式运行大语言模型。涵盖在 Hugging Face Hub 查找兼容模型、为不同硬件（CPU、Mac Metal、CUDA 等）选择量化版本、通过 llama-cli 或 llama-server 启动服务，以及转换权重和验证 OpenAI 兼容本地端点。

本地大模型推理与部署专家

local-llm-expert

sickn33/agentic-awesome-skills

该技能专精于本地大语言模型（LLM）的部署、推理和性能优化。涵盖Ollama、vLLM、llama.cpp等主流推理引擎，以及GGUF、EXL2等主流量化格式。帮助用户在本地硬件上安全、高效地运行先进模型，尤其侧重于隐私保护和离线应用部署。

1

语言