下载

Skill UI

浏览并发现 15558+ 精选技能

全部编程开发人工智能设计创意产品商业数据科学市场营销职场通用效率工具硬件工程语言学习

搜索 llama.cpp ，共找到 5 条记录

默认排序最新上传最多下载

CPU/边缘本地大模型推理

Orchestra-Research/AI-Research-SKILLs

llama.cpp是一个纯C/C++编写的轻量级推理框架，专为在资源受限的设备上运行大型语言模型（LLM）而设计。它特别适用于没有高性能NVIDIA GPU（CUDA）的场景，非常适合Apple Silicon、AMD/Intel GPU以及边缘计算设备。通过支持GGUF量化，可以实现内存占用和推理速度的显著优化，支持本地跨平台部署。

结构化文本生成器

Orchestra-Research/AI-Research-SKILLs

Outlines 通过 Pydantic 模型与语法驱动的有限状态机在生成时约束 token，使 JSON/XML/代码结构必然有效，并支持 Transformers、llama.cpp 与 vLLM 等本地模型，实现高速推理与抽样控制。

本地大模型推理与部署专家

local-llm-expert

sickn33/antigravity-awesome-skills

该技能专精于本地大语言模型（LLM）的部署、推理和性能优化。涵盖Ollama、vLLM、llama.cpp等主流推理引擎，以及GGUF、EXL2等主流量化格式。帮助用户在本地硬件上安全、高效地运行先进模型，尤其侧重于隐私保护和离线应用部署。

Pi代码智能终端开发框架

K-Dense-AI/scientific-agent-skills

Pi Agent是一个最小化但高度可扩展的终端编程工具，用于构建复杂的AI应用和工作流。它允许开发者集成自定义AI模型、服务商、技能和TUI组件。无论是命令行脚本、数据解析，还是通过SDK、RPC或JSON流进行高级任务编排、网络搜索，都能在一个统一的环境中实现。

本地GGUF大型语言模型部署

huggingface-local-models

sickn33/antigravity-awesome-skills

本技能提供了一套完整的指南，用于利用 llama.cpp 框架和 GGUF 格式在本地部署大型语言模型（LLMs）。它涵盖了在 Hugging Face Hub 搜索模型、选择最佳量化配置，以及运行支持 CPU、Mac Metal、CUDA 和 ROCm 等多种硬件后端的本地推理服务器。支持实现兼容 OpenAI 格式的 API 接口，适用于需要离线、私密部署的大模型推理场景。

1

语言