登录
软件下载
帮助文档
新闻资讯
Skill UI
浏览并发现
18950+
精选技能
全部
编程开发
人工智能
设计创意
产品商业
数据科学
市场营销
职场通用
效率工具
硬件工程
语言学习
搜索
Delta Lake
,共找到
12
条记录
默认排序
最新上传
最多下载
数据工程:构建数据管道与仓库
data-engineer
sickn33/antigravity-awesome-skills
396
专业的系统级数据工程师,专注于构建和优化可扩展、高性能的现代数据管道和数据仓库。精通整个现代数据栈,掌握Apache Spark、dbt、Airflow等核心技术,并深入实践数据湖仓一体架构(Lakehouse)。涵盖数据清洗、实时流处理、数据治理和多云平台部署,确保数据流程的可靠性和可扩展性。
查看详情
数据管道架构专家
data-engineering-data-pipeline
sickn33/antigravity-awesome-skills
193
该技能旨在提供全面的数据管道架构设计与实现能力,涵盖批处理和流式处理场景。专家精通ETL/ELT、Lambda/Kappa等架构模式,熟悉Airflow、Prefect等编排工具,并能利用dbt和Spark进行高效的数据转换。核心能力包括构建数据质量框架(Great Expectations)、管理Delta Lake/Iceberg等湖仓存储,以及进行全面的成本和性能优化。
查看详情
Databricks 错误排查指南
databricks-common-errors
jeremylongshore/claude-code-plugins-plus-skills
427
这是一份全面的技术指南,用于诊断和修复Databricks环境中的常见错误。内容涵盖集群状态故障、Spark内存溢出(OOM)、Delta Lake并发写入冲突、权限配置和数据模式不匹配等关键问题,并提供了Python、SQL和Bash等多种语言的修复代码。
查看详情
Databricks数据湖ETL管道构建
databricks-core-workflow-a
jeremylongshore/claude-code-plugins-plus-skills
51
本指南详细介绍了使用Databricks和Delta Lake构建生产级ETL数据管道的完整流程。它遵循金字塔型的Medallion架构(Bronze, Silver, Gold),涵盖了增量数据加载(Auto Loader)、数据清洗、去重和业务聚合。适用于构建企业级数据湖仓,确保数据的高质量和可追溯性。
查看详情
德尔塔湖数据治理与合规
databricks-data-handling
jeremylongshore/claude-code-plugins-plus-skills
83
本技能提供了关于在Delta Lake中实现稳健数据治理和合规流程的指南,核心利用了Unity Catalog。内容涵盖了数据分类标记、处理GDPR“被遗忘权”的PII数据删除流程,以及设置基于标签的自动化数据保留策略。适用于需要构建安全、合规且可审计的数据湖管道。
查看详情
Databricks数据迁移实战指南
databricks-migration-deep-dive
jeremylongshore/claude-code-plugins-plus-skills
342
本指南提供了一套完整的企业级数据平台迁移方案,专注于将数据仓库从Hadoop、Snowflake、Redshift等遗留系统迁移到Databricks。内容包括数据资产发现、数据类型映射转换,以及使用同步、深度克隆等多种模式进行数据抽取和加载,确保数据迁移过程的完整性和可靠性。
查看详情
Databricks性能调优指南
databricks-performance-tuning
jeremylongshore/claude-code-plugins-plus-skills
212
本指南提供了一套全面的Databricks性能优化方案。涵盖了针对不同工作负载(如ETL、ML、流式)的集群配置推荐、Spark参数调优、以及Delta Lake的深度优化策略(如Z-Ordering和液体聚类)。帮助用户快速诊断和解决数据处理慢、效率低下的数据问题。
查看详情
Databricks生产部署清单
databricks-prod-checklist
jeremylongshore/claude-code-plugins-plus-skills
491
本清单用于指导将Databricks数据管道和工作流部署到生产环境的完整流程。它涵盖了从安全加固(权限、密钥管理)、基础设施验证(集群配置)、代码质量检查(测试、最佳实践),到实际部署和上线后的监控验证等关键步骤,确保数据流程的稳定性和可靠性。
查看详情
Databricks参考架构指南
databricks-reference-architecture
jeremylongshore/claude-code-plugins-plus-skills
391
本指南提供了使用Unity Catalog、Delta Lake和Medallion模式的生产级湖仓架构蓝图。它涵盖了工作区组织、三层治理、计算策略的最佳实践,并指导如何结合Asset Bundles实现全面的CI/CD流程,确保项目结构化和团队协作高效。
查看详情
Fabric 临时 PySpark 代码执行
executing-spark
data-goblin/power-bi-agentic-development
267
通过 Livy API 在 Fabric Spark 计算上执行 PySpark 或纯 Python 代码,创建的是临时、无持久化工件的会话。此方法提供对 lakehouse Delta 表的完整读写访问权限,非常适合进行自动化 ETL 流程、快速数据转换或不需保存结果的分析任务。用户必须负责管理会话的完整生命周期,确保使用完毕后及时清理。
查看详情
使用DuckDB查询OneLake数据
using-duckdb
data-goblin/power-bi-agentic-development
431
本技能详细介绍了如何在本地或Fabric Notebook环境中,使用DuckDB连接OneLake(一体化数据湖),查询存储的Delta Lake表和原始文件(如Parquet, CSV, JSON)。它支持本地CLI和Notebook两种模式,适用于数据探索、质量验证、模式发现等场景,功能为只读查询。
查看详情
数据管道架构设计
data-engineering-data-pipeline
sickn33/agentic-awesome-skills
92
专注于设计与构建可扩展、可靠且低成本的数据管道,覆盖批处理与流式处理场景。内容包括 ETL/ELT、Lambda、Kappa 与湖仓架构选型,Airflow/Prefect 任务编排,dbt 与 Spark 数据转换,Delta Lake/Iceberg 存储管理,数据质量校验及成本优化策略。
查看详情
1
语言
简体中文
English