软件下载帮助文档新闻资讯

Skill UI

浏览并发现 16519+ 精选技能

全部编程开发人工智能设计创意产品商业数据科学市场营销职场通用效率工具硬件工程语言学习

搜索网络爬虫，共找到 14 条记录

默认排序最新上传最多下载

异步Python并发编程模式

async-python-patterns

sickn33/antigravity-awesome-skills

本技能提供全面的指南，用于构建高性能、非阻塞的Python异步应用。它侧重于利用asyncio和async/await实现并发编程模式，特别适用于处理I/O密集型任务，如构建异步API、实时聊天系统或并发网络爬虫，帮助开发者优化工作负载。

网络爬虫负载测试与扩容

firecrawl-load-scale

jeremylongshore/claude-code-plugins-plus-skills

该技能用于对Firecrawl抓取流程进行全面的负载测试和性能扩展。它通过实现并发控制、批处理和队列管理，帮助用户在遵循API限流的前提下，最大化爬取吞吐量。适用于进行容量规划、进行大规模数据抓取效率优化等专业场景。

网络爬虫策略与合规防护

firecrawl-policy-guardrails

jeremylongshore/claude-code-plugins-plus-skills

这是一个用于Web爬虫管道的自动化策略防护系统。它能强制执行复杂的爬取规则，包括禁止爬取的域列表、API配额预算控制、内容质量检测（过滤错误页面、内容过少等）以及按域名限速。确保爬取过程合法合规，系统运行稳定，并优化资源消耗。

Firecrawl SDK生产级模式

firecrawl-sdk-patterns

jeremylongshore/claude-code-plugins-plus-skills

本技能包提供Firecrawl SDK在TypeScript和Python中的生产级最佳实践。它涵盖了核心架构模式，包括实现单例客户端、类型化服务封装、带有指数退避的自动重试机制、并发队列管理，以及使用Zod进行响应验证。适用于构建高可靠、可扩展的网络爬虫服务。

Go Rod 浏览器自动化

sickn33/antigravity-awesome-skills

基于 Rod 的 Go 浏览器自动化指南，结合 Chrome DevTools Protocol 原生调用与 stealth 反检测技巧，适用于无头 SPA 抓取、并发爬虫、网络请求拦截等场景。

搜索引擎优化基础原理

seo-fundamentals

sickn33/antigravity-awesome-skills

本技能是关于搜索引擎优化（SEO）的全面基础指南。内容涵盖了现代SEO的四大支柱：E-E-A-T内容质量评估、核心网页指标（CWV）、技术SEO实现（如结构化数据和爬虫控制）以及高质量的内容策略。它指导用户从底层原理出发，构建可持续的、高信任度的网络可见性，而非依赖短期技巧。

通用网络数据抓取选择器

apify-ultimate-scraper

sickn33/antigravity-awesome-skills

这是一个AI驱动的通用爬虫选择器工具，帮助用户为复杂的网络数据抓取任务选择最佳的Apify Actor。它覆盖了Instagram、Facebook、TikTok、YouTube、Google Maps等主流平台，提供了一个统一的工作流，确保高效地完成数据提取。

使用AWS WAF保护API网关

securing-api-gateway-with-aws-waf

mukul975/Anthropic-Cybersecurity-Skills

本技能指导如何利用AWS WAF（Web应用防火墙）保护AWS API Gateway端点。它配置了OWASP Top 10防护、自定义速率限制、IP信誉过滤和防爬虫机制，用于保护面向公众的API接口，抵御常见的网络攻击、DDoS和API滥用行为。

Bright Data错误排查与修复指南

brightdata-common-errors

jeremylongshore/claude-code-plugins-plus-skills

本指南是Bright Data代理和API常见错误（如407认证错误、502网关错误、SSL证书错误、限速错误等）的诊断参考。它详细列出了各种错误的成因、修复步骤以及具体的命令行解决方案，帮助用户解决爬虫和API集成中的连接、认证和网络问题。

Bright Data爬虫成本优化与管理

brightdata-cost-tuning

jeremylongshore/claude-code-plugins-plus-skills

本技能旨在帮助用户优化 Bright Data 的爬取服务成本。提供了详细的成本估算模型、缓存策略和使用量监控代码，指导用户在进行大规模网络数据采集时，选择最合适的产品和最佳的预算管理方案。

配置Bright Data代理认证

brightdata-install-auth

jeremylongshore/claude-code-plugins-plus-skills

本指南提供了完整的Bright Data集成流程，指导用户获取区域凭证、设置环境变量和SSL证书。它详细介绍了如何为Node.js和Python环境配置代理认证，确保在进行网络爬虫时能够稳定、可靠地访问数据。

Bright Data限速处理与重试机制

brightdata-rate-limits

jeremylongshore/claude-code-plugins-plus-skills

本技能集专注于解决使用Bright Data服务进行大规模网络爬取和API数据采集时遇到的速率限制（Rate Limit）和限流问题。它指导如何使用并发队列控制请求并发数，实现指数退避（Exponential Backoff）重试机制，并针对Bright Data的特定API触发点进行精确的限流控制，确保爬虫任务的稳定性和可靠性。

语言