软件下载帮助文档新闻资讯

Skill UI

浏览并发现 16569+ 精选技能

全部编程开发人工智能设计创意产品商业数据科学市场营销职场通用效率工具硬件工程语言学习

搜索爬虫，共找到 54 条记录

默认排序最新上传最多下载

Apify 自动化工具

apify-automation

ComposioHQ/awesome-claude-skills

通过 Claude Code 调用 Apify 执行爬虫 Actor，可同步或异步运行、管理数据集与日志、创建复用任务并获取结构化结果，适合即时抓取或重复采集场景。

异步Python并发编程模式

async-python-patterns

sickn33/antigravity-awesome-skills

本技能提供全面的指南，用于构建高性能、非阻塞的Python异步应用。它侧重于利用asyncio和async/await实现并发编程模式，特别适用于处理I/O密集型任务，如构建异步API、实时聊天系统或并发网络爬虫，帮助开发者优化工作负载。

浏览器自动化专家

browser-automation

sickn33/antigravity-awesome-skills

擅长 Playwright/Puppeteer 浏览器自动化，排查不稳定测试、构建长期运行的爬虫，强调用户视角定位器、自动等待和测试隔离，规避检测与超时反模式。

Firecrawl架构模式与设计

firecrawl-architecture-variants

jeremylongshore/claude-code-plugins-plus-skills

本指南详细介绍了Firecrawl的三种核心架构模式：按需爬取、定时爬取和实时数据管道。帮助用户根据项目的数据量、延迟要求和业务复杂度，选择最合适的爬虫架构。适用于构建高可扩展、生产级的爬虫基础设施，支持知识库和RAG系统构建。

Firecrawl爬虫集成部署指南

firecrawl-deploy-integration

jeremylongshore/claude-code-plugins-plus-skills

本指南提供了将基于 Firecrawl 爬取 API 的应用部署到生产环境的完整流程。涵盖 Vercel Serverless、Cloud Run 和自托管 Docker 部署等多种场景，指导用户如何配置平台密钥、实现 API 路由以及处理异步爬取 Webhook，确保爬虫服务稳定和可扩展。

Firecrawl爬虫配置与认证

firecrawl-install-auth

jeremylongshore/claude-code-plugins-plus-skills

本指南提供Firecrawl SDK的完整配置教程，涵盖Node.js和Python两种环境。它详细介绍了如何使用npm或pip安装SDK，并指导用户如何通过设置环境变量来安全配置API密钥。适用于需要将网页内容结构化抓取、提取Markdown或构建新爬虫项目的开发场景。

网络爬虫负载测试与扩容

firecrawl-load-scale

jeremylongshore/claude-code-plugins-plus-skills

该技能用于对Firecrawl抓取流程进行全面的负载测试和性能扩展。它通过实现并发控制、批处理和队列管理，帮助用户在遵循API限流的前提下，最大化爬取吞吐量。适用于进行容量规划、进行大规模数据抓取效率优化等专业场景。

爬虫迁移：从 Puppeteer 到 Firecrawl

firecrawl-migration-deep-dive

jeremylongshore/claude-code-plugins-plus-skills

本指南提供了一个完整的框架，用于将传统的、依赖浏览器或CSS选择器的爬虫代码（如Puppeteer, Playwright）迁移到Firecrawl API。它展示了如何简化爬取流程，实现单页抓取、使用LLM进行结构化数据提取，以及复杂的全站爬取，从而彻底摆脱复杂的浏览器管理和反爬虫机制。

多环境爬虫爬取配置指南

firecrawl-multi-env-setup

jeremylongshore/claude-code-plugins-plus-skills

本技能指导用户如何为Firecrawl配置可靠的多环境（开发、预发布、生产）爬取流程。核心目标是解决跨环境的配置和成本控制问题。内容涵盖了使用Docker进行本地自托管、环境隔离配置，以及构建安全的爬取封装层，确保数据抓取流程的稳定性和成本可控性。

网络爬虫策略与合规防护

firecrawl-policy-guardrails

jeremylongshore/claude-code-plugins-plus-skills

这是一个用于Web爬虫管道的自动化策略防护系统。它能强制执行复杂的爬取规则，包括禁止爬取的域列表、API配额预算控制、内容质量检测（过滤错误页面、内容过少等）以及按域名限速。确保爬取过程合法合规，系统运行稳定，并优化资源消耗。

爬虫可靠性和容错设计

firecrawl-reliability-patterns

jeremylongshore/claude-code-plugins-plus-skills

本技能集提供了在生产环境中构建稳定、高可靠性爬虫管道的模式。涵盖了电路断路器、内容验证、爬取回退机制和指数退避等高级设计，旨在解决爬取超时、内容缺失或API调用失败等常见问题，确保数据提取的连续性和完整性。

Firecrawl SDK生产级模式

firecrawl-sdk-patterns

jeremylongshore/claude-code-plugins-plus-skills

本技能包提供Firecrawl SDK在TypeScript和Python中的生产级最佳实践。它涵盖了核心架构模式，包括实现单例客户端、类型化服务封装、带有指数退避的自动重试机制、并发队列管理，以及使用Zod进行响应验证。适用于构建高可靠、可扩展的网络爬虫服务。

12 3 4 5 下一页

语言