最近更新时间:2022.09.21 18:26:43
首次发布时间:2022.09.19 22:01:38
面向对象:主要面向大数据团队、数仓等技术同学,企业认证后即可在火山引擎公有云环境体验DataLeap数据开发特惠版
教程时长:2小时。
学习目标:帮助需要数据分析和数仓团队同学,快速体验和了解DataLeap产品功能及用法,方便在后期的使用和学习
目的:以一个项目的完整开发流程为背景做介绍任务关键节点和任务
前期步骤:开始workshop的必要条件,需完成前置开通并确保服务状态可用
数仓建设:含数据导入集成,数据加工任务,调度以及项目任务发布上线
任务运维: 含数据回溯初始化查询,运行规则,实例运维情况及日志监控
安全管理: 对数据对象授权,申请访问,敏感列等信息屏蔽按需提交申请
资产管理: 数据检索和资产信息查找,数据血缘分析,复查专题建设和管理
序号 | Demo场景 | 具体描述 | 步骤 | 关注点 | 角度 |
---|---|---|---|---|---|
一 | 用户及项目管理 | 账号注册开通,服务购买,子账号注册,创建项目,库表专题等内容 | 1. 新建用户:主账号在控制台创建用户子账号;完成账户充值和产品购买操作 | 1. 注册及购买流程 | 功能、安全、易用 |
二 | 离线数仓建设 | 模拟数仓开发链路,对数据进行加工处理。也可通过数据回溯,进行补数据或重刷历史数据。 | 1.数仓建表:结合业务需求,完成离线数仓建表,通过DDL或导航式创建LAS表 | 1. 数仓规范:可从主题、层级等多维度,查询并管理数仓LAS表; | 功能、规范、易用、性能、稳定 |
三 | 任务运维 | 通过智能运维中心,对开发发布后任务进行运行规则监控,监控规则设置和阈值提醒,了解任务血缘依赖关系 | 1、对任务运行规则设置 | 1,监控规则的复用性 | 稳定、 |
四 | 数据安全 | 结合用户身份,和业务需求,对数据的读写权限进行严格控制,并提供完整、规范的审批流程。 | 1.数据获权:申请LAS表的读、写权限; | 1. 任务运维:任务及实例的操作,DAG展示,运行状态、质量监控及邮件告警; | 功能、易用、安全 |
五 | 数据地图 | 查看数据专题,数据检索,数据资产血缘关系,列级别数据回溯追踪 | 1、专题建设情况及数据资产查看检索 | 1、数仓专题建设完整性,资产管理的便捷性 | 资产、 |
层级 | 英文缩写 | 层级说明 | 备注 |
---|---|---|---|
原始数据层 | ods | 贴近数据源的粗糙数据 | 获取业务原始数据 |
通用维度层 | dim | 沉淀一致性的维度 | 静态的维表数据 |
事实明细层 | dwd | 事实表的明细粒度数据 | 基本信息等明细数据 |
汇总应用层 | dwm | 面向业务过程提供数据汇总 | 形成轻度汇总数据 |