登录
下载

Skill UI

浏览并发现 11118+ 精选技能
全部 编程开发 人工智能 设计创意 产品商业 数据科学 市场营销 职场通用 效率工具 硬件工程 语言学习
搜索 AI管道 ，共找到 120 条记录
默认排序 最新上传 最多下载

数据工程：构建数据管道与仓库

data-engineer
sickn33/antigravity-awesome-skills
396
专业的系统级数据工程师，专注于构建和优化可扩展、高性能的现代数据管道和数据仓库。精通整个现代数据栈，掌握Apache Spark、dbt、Airflow等核心技术，并深入实践数据湖仓一体架构（Lakehouse）。涵盖数据清洗、实时流处理、数据治理和多云平台部署，确保数据流程的可靠性和可扩展性。
查看详情

数据管道架构专家

data-engineering-data-pipeline
sickn33/antigravity-awesome-skills
193
该技能旨在提供全面的数据管道架构设计与实现能力，涵盖批处理和流式处理场景。专家精通ETL/ELT、Lambda/Kappa等架构模式，熟悉Airflow、Prefect等编排工具，并能利用dbt和Spark进行高效的数据转换。核心能力包括构建数据质量框架（Great Expectations）、管理Delta Lake/Iceberg等湖仓存储，以及进行全面的成本和性能优化。
查看详情

数据库全生命周期管理

database
sickn33/antigravity-awesome-skills
314
本工作流为数据库的完整生命周期管理提供了全面指导。内容涵盖从初始架构设计（支持SQL和NoSQL）、模式构建、到高级查询优化、数据迁移，以及使用Airflow和dbt等工具构建鲁棒的数据管道。适用于设计、优化和维护复杂的企业级数据系统。
查看详情

Databricks持续集成与部署

databricks-ci-integration
jeremylongshore/claude-code-plugins-plus-skills
472
本技能指导如何为Databricks数据管道配置自动化持续集成/持续部署（CI/CD）流程。它利用GitHub Actions和声明式自动化包（DABs）管理整个生命周期。核心功能包括在拉取请求（PR）时运行单元测试，部署到Staging环境进行验证，并在合并到主分支时自动推送到生产环境，确保数据流程的自动化和高可靠性。
查看详情

配置 Databricks Webhooks 与事件通知

databricks-webhooks-events
jeremylongshore/claude-code-plugins-plus-skills
317
本技能提供了配置 Databricks 作业的全面通知和事件驱动工作流指南。内容涵盖设置多种通知目标（如 Slack、Teams、邮件、PagerDuty），并在作业生命周期事件（成功、失败、启动）时触发警报。此外，还展示了使用系统审计表监控事件和创建自动化 SQL 告警，用于关键数据管道的监控。
查看详情

生成AI模型工作流链

fal-workflow
sickn33/antigravity-awesome-skills
64
该技能用于生成用于连接和串联多个AI模型的JSON工作流文件。它帮助用户构建复杂的、多步骤的AI处理管道，实现数据通过多个AI服务级的自动化、顺序化流程处理。
查看详情

火爬数据处理与知识库构建

firecrawl-data-handling
jeremylongshore/claude-code-plugins-plus-skills
248
这是一个全面的数据管道，用于处理、验证和优化来自Firecrawl爬取的网页内容。它支持Markdown清洗、使用Zod进行结构化数据提取、内容去重和为LLM/RAG系统定制的文本分块（Chunking）。旨在确保爬取的数据是标准化、干净、结构化的，可直接用于构建知识库或进行下游AI应用。
查看详情

网页抓取管道可观测性

firecrawl-observability
jeremylongshore/claude-code-plugins-plus-skills
260
本技能提供了Firecrawl网络爬取操作的全面可观测性模式。它覆盖了抓取成功率、积分消耗追踪、内容质量评估和延迟监控等关键指标。适用于构建健壮的监控仪表盘、设置主动故障警报，确保爬取工作流的稳定与高效。
查看详情

Firecrawl抓取性能优化指南

firecrawl-performance-tuning
jeremylongshore/claude-code-plugins-plus-skills
272
本指南深入介绍了优化Firecrawl爬取性能的高级技巧，旨在提升爬取效率并降低API成本。核心内容包括：选择最精简的输出格式（如Markdown）、实现URL缓存、使用批量处理（Batch Scrape）和针对动态SPA页面调整等待时间。掌握这些方法，能帮助构建稳定、高效的高吞吐量爬取管道。
查看详情

网络爬虫策略与合规防护

firecrawl-policy-guardrails
jeremylongshore/claude-code-plugins-plus-skills
251
这是一个用于Web爬虫管道的自动化策略防护系统。它能强制执行复杂的爬取规则，包括禁止爬取的域列表、API配额预算控制、内容质量检测（过滤错误页面、内容过少等）以及按域名限速。确保爬取过程合法合规，系统运行稳定，并优化资源消耗。
查看详情

Firecrawl内容爬取与摄取架构

firecrawl-reference-architecture
jeremylongshore/claude-code-plugins-plus-skills
262
本参考架构提供了一套完整的Web内容爬取和摄取流程。它集成了单页抓取、全站爬行、URL映射和结构化数据提取功能。后续的清洗、去重和分块处理，使其非常适合构建企业级的知识库、RAG系统以及复杂的AI数据管道。
查看详情

爬虫可靠性和容错设计

firecrawl-reliability-patterns
jeremylongshore/claude-code-plugins-plus-skills
287
本技能集提供了在生产环境中构建稳定、高可靠性爬虫管道的模式。涵盖了电路断路器、内容验证、爬取回退机制和指数退避等高级设计，旨在解决爬取超时、内容缺失或API调用失败等常见问题，确保数据提取的连续性和完整性。
查看详情
上一页12345...8910下一页
语言
简体中文
English