下载

Skill UI

浏览并发现 9987+ 精选技能

全部编程开发人工智能设计创意产品商业数据科学市场营销职场通用效率工具硬件工程语言学习

搜索 C++ ，共找到 1 条记录

默认排序最新上传最多下载

CPU/边缘本地大模型推理

Orchestra-Research/AI-Research-SKILLs

llama.cpp是一个纯C/C++编写的轻量级推理框架，专为在资源受限的设备上运行大型语言模型（LLM）而设计。它特别适用于没有高性能NVIDIA GPU（CUDA）的场景，非常适合Apple Silicon、AMD/Intel GPU以及边缘计算设备。通过支持GGUF量化，可以实现内存占用和推理速度的显著优化，支持本地跨平台部署。

1

语言