软件下载帮助文档新闻资讯

Skill UI

浏览并发现 18950+ 精选技能

全部编程开发人工智能设计创意产品商业数据科学市场营销职场通用效率工具硬件工程语言学习

搜索 NVIDIA ，共找到 6 条记录

默认排序最新上传最多下载

CPU/边缘本地大模型推理

Orchestra-Research/AI-Research-SKILLs

llama.cpp是一个纯C/C++编写的轻量级推理框架，专为在资源受限的设备上运行大型语言模型（LLM）而设计。它特别适用于没有高性能NVIDIA GPU（CUDA）的场景，非常适合Apple Silicon、AMD/Intel GPU以及边缘计算设备。通过支持GGUF量化，可以实现内存占用和推理速度的显著优化，支持本地跨平台部署。

LLM可编程安全防护

nemo-guardrails

Orchestra-Research/AI-Research-SKILLs

NVIDIA 的 NeMo Guardrails 为 LLM 应用提供运行时安全机制，通过 Colang 2.0 可编程规则实现越狱检测、自查输入输出、事实核查、PII 屏蔽与毒性过滤，便于在 T4 生产环境中部署。

TensorRT LLM 推理优化

Orchestra-Research/AI-Research-SKILLs

在 NVIDIA GPU 上使用 TensorRT 优化大模型推理，支持 FP8/INT4 量化、多 GPU 扩展及高吞吐量部署，适合实时与生产环境。

LLM护栏：输入输出安全防护

implementing-llm-guardrails-for-security

mukul975/Anthropic-Cybersecurity-Skills

用于为大型语言模型（LLM）应用添加安全护栏。它能拦截和验证用户输入（如提示注入、敏感信息）和模型输出（如幻觉、有害内容），确保内容符合预设的业务规则和Schema。适用于构建安全、可靠的聊天机器人或RAG系统。

基于Garak的LLM红队安全测试

red-teaming-llms-with-garak

mukul975/Anthropic-Cybersecurity-Skills

NVIDIA garak是一款开源的LLM漏洞扫描工具，用于全面的红队测试和安全评估。它通过向大型语言模型（支持OpenAI API、Hugging Face等）发送数千个对抗性提示词，系统性地检测关键漏洞。这些漏洞包括提示注入、越狱、数据泄露和毒性内容等。可用于建立部署前后的安全基线，验证安全卫士的有效性，或为AI风险评估提供定量证据。

RAG流程提示注入安全测试

testing-prompt-injection-in-rag-pipelines

mukul975/Anthropic-Cybersecurity-Skills

本技能提供全面的安全测试方法，用于检测检索增强生成（RAG）流程中的漏洞。它专注于探测通过污染文档实现的间接提示注入，以及向量空间中的嵌入操纵攻击。使用NVIDIA garak、Promptfoo和PyRIT等工具，可验证RAG系统的检索防护能力和CI/CD的安全性，确保系统不会受到恶意输入或数据泄漏的攻击。

1

语言