下载

Skill UI

浏览并发现 10393+ 精选技能

全部编程开发人工智能设计创意产品商业数据科学市场营销职场通用效率工具硬件工程语言学习

搜索 AI爬虫，共找到 20 条记录

默认排序最新上传最多下载

异步Python并发编程模式

async-python-patterns

sickn33/antigravity-awesome-skills

本技能提供全面的指南，用于构建高性能、非阻塞的Python异步应用。它侧重于利用asyncio和async/await实现并发编程模式，特别适用于处理I/O密集型任务，如构建异步API、实时聊天系统或并发网络爬虫，帮助开发者优化工作负载。

浏览器自动化专家

browser-automation

sickn33/antigravity-awesome-skills

擅长 Playwright/Puppeteer 浏览器自动化，排查不稳定测试、构建长期运行的爬虫，强调用户视角定位器、自动等待和测试隔离，规避检测与超时反模式。

Firecrawl爬虫配置与认证

firecrawl-install-auth

jeremylongshore/claude-code-plugins-plus-skills

本指南提供Firecrawl SDK的完整配置教程，涵盖Node.js和Python两种环境。它详细介绍了如何使用npm或pip安装SDK，并指导用户如何通过设置环境变量来安全配置API密钥。适用于需要将网页内容结构化抓取、提取Markdown或构建新爬虫项目的开发场景。

多环境爬虫爬取配置指南

firecrawl-multi-env-setup

jeremylongshore/claude-code-plugins-plus-skills

本技能指导用户如何为Firecrawl配置可靠的多环境（开发、预发布、生产）爬取流程。核心目标是解决跨环境的配置和成本控制问题。内容涵盖了使用Docker进行本地自托管、环境隔离配置，以及构建安全的爬取封装层，确保数据抓取流程的稳定性和成本可控性。

网络爬虫策略与合规防护

firecrawl-policy-guardrails

jeremylongshore/claude-code-plugins-plus-skills

这是一个用于Web爬虫管道的自动化策略防护系统。它能强制执行复杂的爬取规则，包括禁止爬取的域列表、API配额预算控制、内容质量检测（过滤错误页面、内容过少等）以及按域名限速。确保爬取过程合法合规，系统运行稳定，并优化资源消耗。

爬虫可靠性和容错设计

firecrawl-reliability-patterns

jeremylongshore/claude-code-plugins-plus-skills

本技能集提供了在生产环境中构建稳定、高可靠性爬虫管道的模式。涵盖了电路断路器、内容验证、爬取回退机制和指数退避等高级设计，旨在解决爬取超时、内容缺失或API调用失败等常见问题，确保数据提取的连续性和完整性。

通用网络数据抓取选择器

apify-ultimate-scraper

sickn33/antigravity-awesome-skills

这是一个AI驱动的通用爬虫选择器工具，帮助用户为复杂的网络数据抓取任务选择最佳的Apify Actor。它覆盖了Instagram、Facebook、TikTok、YouTube、Google Maps等主流平台，提供了一个统一的工作流，确保高效地完成数据提取。

网站技术SEO全面审计

AgriciDaniel/claude-seo

本工具提供全面的技术SEO审计，覆盖了网站可爬取性、可索引性、安全协议、核心网页指标（如LCP、INP）和结构化数据等关键方面。它特别关注现代挑战，如AI爬虫管理、移动优先索引优化和JavaScript渲染的最佳实践，帮助网站提升搜索引擎可见性和用户体验。

Apify自动化部署与测试

apify-ci-integration

jeremylongshore/claude-code-plugins-plus-skills

本指南用于配置Apify Actor构建和部署的持续集成/持续交付（CI/CD）流程。它指导用户如何使用GitHub Actions实现自动化测试（PR测试、集成测试）和生产部署。适用于需要高可靠性、自动化测试和部署流程的爬虫和自动化项目。

Apify 错误排查指南

apify-common-errors

jeremylongshore/claude-code-plugins-plus-skills

本工具是用于诊断和解决Apify平台上运行爬虫和自动化任务时遇到的常见技术错误的指南。它涵盖了Actor运行失败、API限速（429）、认证失败（401）、反爬拦截和内存溢出等问题，为用户提供详细的诊断步骤和修复方案，确保爬虫流程的稳定性和健壮性。

Bright Data错误排查与修复指南

brightdata-common-errors

jeremylongshore/claude-code-plugins-plus-skills

本指南是Bright Data代理和API常见错误（如407认证错误、502网关错误、SSL证书错误、限速错误等）的诊断参考。它详细列出了各种错误的成因、修复步骤以及具体的命令行解决方案，帮助用户解决爬虫和API集成中的连接、认证和网络问题。

Bright Data爬虫性能调优

brightdata-performance-tuning

jeremylongshore/claude-code-plugins-plus-skills

本指南提供一套完整的Bright Data爬虫性能优化方案。内容涵盖了高效的连接池管理、响应缓存机制、异步并发控制和批量API调用等高级技术。适用于需要处理大规模数据、提升爬取效率或解决API响应延迟的开发场景。

语言