最近更新时间:2024.02.02 19:28:41
首次发布时间:2022.09.19 22:01:38
面向对象:主要面向大数据团队、数仓等技术同学,企业认证后即可在火山引擎公有云环境体验DataLeap数据开发特惠版。
教程时长:2小时。
学习目标:帮助需要数据分析和数仓团队同学,快速体验和了解DataLeap产品功能及用法,方便在后期的使用和学习。
目的:以一个项目的完整开发流程为背景做介绍任务关键节点和任务
序号 | Demo场景 | 具体描述 | 步骤 | 关注点 | 角度 |
---|---|---|---|---|---|
一 | 用户及项目管理 | 账号注册开通,服务购买,子账号注册,创建项目,库表专题等内容 |
|
| 功能、安全、易用 |
二 | 离线数仓建设 | 模拟数仓开发链路,对数据进行加工处理。也可通过数据回溯,进行补数据或重刷历史数据。 |
|
| 功能、规范、易用、性能、稳定 |
三 | 任务运维 | 通过智能运维中心,对开发发布后任务进行运行规则监控,监控规则设置和阈值提醒,了解任务血缘依赖关系 |
|
| 稳定、易用、敏捷、预警 |
四 | 数据安全 | 结合用户身份,和业务需求,对数据的读写权限进行严格控制,并提供完整、规范的审批流程。 |
|
| 功能、易用、安全 |
五 | 数据地图 | 查看数据专题,数据检索,数据资产血缘关系,列级别数据回溯追踪 |
|
| 资产、血缘、检索 |
层级 | 英文缩写 | 层级说明 | 备注 |
---|---|---|---|
原始数据层 | ods | 贴近数据源的粗糙数据 | 获取业务原始数据 |
通用维度层 | dim | 沉淀一致性的维度 | 静态的维表数据 |
事实明细层 | dwd | 事实表的明细粒度数据 | 基本信息等明细数据 |
汇总应用层 | dwm | 面向业务过程提供数据汇总 | 形成轻度汇总数据 |