元数据指标体系说明--智能数据洞察-火山引擎

文档中心

导航

元数据指标体系说明

最近更新时间：2023.09.13 14:04:13首次发布时间：2023.09.13 14:04:13

1. 行为事件主题数据

行为事件元数据记录平台内不同项目内用户的全部操作行为日志，用于行为审计、用户活跃分析、资源热度等分析内容，其中资源 ID/名称/创建时间等字段主要包含可视化建模/数据集/图表/仪表盘资源信息，如无事件信息则表示资源未被操作访问。

1.1 主题字段列表

字段名	字段描述
event_id	事件ID
event_type	事件类型
event_resource_id	事件资源ID
event_resource_type	事件资源类型
event_resource_type_name	事件资源类型名称
event_resource_name	事件资源名称
event_detail	事件详情
event_user	事件用户
event_module	事件模块
event_submodule	事件子模块
event_app_id	事件所属项目ID
event_action	事件行为动作
event_payload	事件业务参数.
event_resource_type_name	事件资源类型名称
event_timestamp	事件时间
resource_id	资源ID
resource_name	资源名称
resource_owner	资源Owner
resource_create_time	资源创建时间
resource_app_id	资源所属项目ID
resource_type	资源类型（包含可视化建模/数据集/图表/仪表盘）
p_date	p_date

1.2 实现过程

alt

1.2.1 输入表

aeolus_db.prep_task：任务表（task_source=0表示可视化建模任务）
aeolus_db.aeolus_data_set ：数据集表
aeolus_db.aeolus_dashboard ：仪表盘表
aeolus_db.aeolus_report：图表表
aeolus_data_db_aeolus_omega_202201.aeolus_data_table_5_562088_prod 操作日志表域内（CK表）
aeolus_pre_create_db.aeolus_monitor_table 操作日志表ToB（CK表）

1.2.2 实现过程简述

Step1：将可视化建模/数据集/仪表盘/图表均清洗成相同的 schema 结构，采用合并行的方式 Union 数据，如下表。
Step2：将行为日志表剔除无用字段，剔除 uuid/pl_data_set_id，其余保留。
Step3：将清洗好的行为表和各资源的基础信息表 Full Join 在一起，形成结果表。

表名	原始字段	重命名字段	清洗规则
aeolus_db.prep_task	id	resource_id	限制：task_source = 0 表示常规页面创建的可视化建模任务
	name	resource_name
	owner_email_prefix	resource_owner
	ctime	resource_create_time
	app_id	resource_app_id
	--	resource_type user_status	新增的字段，值始终= “可视化建模”
aeolus_db.aeolus_data_set	id	resource_id
	name	resource_name
	owner_email_prefix	resource_owner
	ctime	resource_create_time
	app_id	resource_app_id
	--	resource_type	新增的字段，值始终= “数据集”
aeolus_db.aeolus_dashboard	id	resource_id
	name	resource_name
	owner_email_prefix	resource_owner
	ctime	resource_create_time
	app_id	resource_app_id
	--	resource_type	新增的字段，值始终= “仪表盘”
aeolus_db.aeolus_report Left join aeolus_db.aeolus_data_set	id	resource_id
	name	resource_name
	owner_email_prefix	resource_owner
	ctime	resource_create_time
	app_id	resource_app_id	来自于aeolus_db.aeolus_data_set表
	--	resource_type	新增的字段，值始终= “图表”

2. 资产明细主题数据

资产明细主题数据记录数据集/可视化建模/图表/仪表盘资产明细数据，其中数据集及可视化建模提供调度任务、实例任务及底层表 TTL 资源等信息，可以实现资产统计、任务管理、资源管理等分析。

2.1 主题字段列表

字段名	字段描述
app_id	项目ID
app_name	项目名称
app_status	项目状态
app_create_time	项目创建时间
app_update_time	项目更新时间
resource_id	资源ID
resource_name	资源名称
resource_owner	资源owner
resource_create_time	资源创建时间
resource_app_id	资源所属项目ID
resource_type	资源类型
prep_schedule_conf	任务调度配置
prep_execute_status	任务运行状态
prep_last_sync_time	最近一次运行开始时间
prep_last_sync_end_time	最近一次运行结束时间
resource_update_time	资源更新时间
resource_delete_time	资源删除时间
prep_task_source	任务创建来源，0表示可视化建模任务
prep_task_type	任务类型，0是离线/1是实时/2是标签
resource_status	资源状态， 0是正常/ 1是删除
dataset_connection_mode	数据集链接模式，0是抽取模式，1是直连模式
dataset_sync_type	数据集同步方式，0:自动同步, 1:定时同步, 2:暂不同步，3:实时同步
dataset_ttl	数据集生命周期TTL
instance_id	任务实例ID
instance_task_time	任务实例业务日期，对应分区P_date
instance_queue	任务实例集群队列
instance_name	任务实例名称
instance_status	任务实例状态，0: 正常, 1: 删除
instance_conf	任务实例配置
instance_create_time	任务实例创建时间
instance_schedule_time	任务实例调度时间
instance_start_time	任务实例开始时间
instance_end_time	任务实例结束时间
data_table_source_id	数据集底表ID
data_table_sla_daytime	数据集同步作业SLA
data_table_ttl	数据集底表生命周期
data_table_table_size	数据集底表存储大小，单位Byte
data_table_line_num	数据集底表行数
data_table_status	数据集底表状态 0: 正常, 1: 删除, 2删除中
data_table_update_time	数据集底表更新时间
data_table_create_time	数据集底表创建时间
p_date	p_date

2.2 实现过程

alt

2.2.1 输入表

aeolus_db.aeolus_app：项目信息表
aeolus_db.prep_task：任务表（task_source=0表示可视化建模任务）
aeolus_db.prep_instance：任务实例表
aeolus_db.aeolus_data_set ：数据集表
aeolus_db.aeolus_data_table：数据集对应CK表
aeolus_db.aeolus_dashboard ：仪表盘表
aeolus_db.aeolus_report：图表表

2.2.2 实现过程简述

Step1：将可视化建模/数据集/仪表盘/图表清洗出必须字段。
Step2：将这些表采用合并行的方式合并在一起。
Step3：将合并好的数据和项目信息关联在一起。

表名	原始字段	重命名字段	清洗规则
aeolus_db.aeolus_app	id	app_id
	name	app_name
	status	app_status
	ctime	app_create_time
	mtime	app_update_time
aeolus_db.prep_task Left join aeolus_db.prep_instance	id	resource_id	限制：task_source = 0 表示常规页面创建的可视化建模任务
	name	resource_name
	owner_email_prefix	resource_owner
	ctime	resource_create_time
	app_id	resource_app_id
	--	resource_type	新增的字段，值始终= “可视化建模”
	schedule_type	prep_schedule_type
	schedule_conf	prep_schedule_conf
	status	resource_status
	execute_status	prep_execute_status
	last_sync_time	prep_last_sync_time
	last_sync_end_time	prep_last_sync_end_time
	create_time	resource_create_time
	app_id	resource_app_id
	update_time	resource_update_time
	delete_time	resource_delete_time
	task_type	prep_task_type
	task_source	prep_task_source
	id	instance_id	prep_instance
	task_time	instance_task_time	prep_instance
	queue	instance_queue	prep_instance
	name	instance_name	prep_instance
	status	instance_status	prep_instance
	conf	instance_conf	prep_instance
	create_time	instance_create_time	prep_instance
	schedule_time	instance_schedule_time	prep_instance
	start_time	instance_start_time	prep_instance
	end_time	instance_end_time	prep_instance
	--	resource_type
aeolus_db.aeolus_data_set Left join aeolus_db.aeolus_data_table	id	resource_id
	name	resource_name
	owner_email_prefix	resource_owner
	ctime	resource_create_time
	app_id	resource_app_id
	connection_mode	dataset_connection_mode
	sync_type	dataset_sync_type
	status	resource_status
	ctime	resource_create_time
	mtime	resource_update_time
	delete_time	resource_delete_time
	ttl	dataset_ttl
	source_id	data_table_source_id	aeolus_data_table
	sla_daytime	data_table_sla_daytime
	ttl	data_table_ttl
	table_size	data_table_table_size
	line_num	data_table_line_num
	status	data_table_status
	update_time	data_table_update_time
	create_time	data_table_create_time
	--	resource_type	新增的字段，值始终= “数据集”
aeolus_db.aeolus_dashboard	id	resource_id
	name	resource_name
	owner_email_prefix	resource_owner
	ctime	resource_create_time
	mtime	resource_update_time
	app_id	resource_app_id
	status	resource_status
	--	resource_type	新增的字段，值始终= “仪表盘”
aeolus_db.aeolus_report Left join aeolus_db.aeolus_data_set	id	resource_id
	name	resource_name
	owner_email_prefix	resource_owner
	ctime	resource_create_time
	mtime	resource_update_time
	app_id	resource_app_id	来自于aeolus_db.aeolus_data_set表
	--	resource_type	新增的字段，值始终= “图表”

3. 资产关系主题数据

资产关系主题数据记录数据集/可视化建模/图表/仪表盘相互依赖关系，可用于做资产分析、资产查询及血缘查看等分析。

3.1 主题字段列表

字段名	字段描述
prep_resource_id	可视化建模资源ID
prep_resource_name	可视化建模资源名称
prep_resource_owner	可视化建模资源owner
prep_resource_create_time	可视化建模资源创建时间
prep_resource_app_id	可视化建模资源所属项目ID
prep_resource_type	可视化建模资源类型
dataset_resource_id	数据集资源ID
dataset_resource_app_id	数据集资源名称
dataset_resource_name	数据集资源owner
dataset_resource_owner	数据集资源创建时间
dataset_resource_create_time	数据集资源所属项目ID
dataset_resource_type	数据集资源类型
report_resource_id	图表资源ID
report_resource_name	图表资源名称
report_resource_owner	图表资源owner
report_resource_create_time	图表资源创建时间
report_resource_app_id	图表资源所属项目ID
report_resource_type	图表资源类型
dashboard_resource_id	仪表盘资源ID
dashboard_resource_app_id	仪表盘资源所属项目ID
dashboard_resource_name	仪表盘资源名称
dashboard_resource_owner	仪表盘资源owner
dashboard_resource_create_time	仪表盘资源创建时间
dashboard_resource_type	仪表盘资源类型
p_date	p_date

3.2 实现过程

alt

3.2.1 输入表

aeolus_db.prep_task：任务表（task_source=0表示可视化建模任务）
aeolus_db.aeolus_data_set ：数据集表
aeolus_db.aeolus_dashboard ：仪表盘表
aeolus_db.aeolus_dashboard_sheet：仪表盘与Sheet表关系表
aeolus_db.aeolus_sheet_report：Sheet表与图表关系表
aeolus_db.aeolus_report：图表表

3.2.2 实现过程简述

Step1：Prep 表和数据集表进行 full join 获取可视化建模和数据集详细信息及关系。
Step2：图表与数据集关联获取图表与数据集关系，图表归属于一个数据集。
Step3：图表与数据集的关系表做关联至 Step1 的关系表，构建可视化建模/数据集/图表的宽表。
Step4：仪表盘关联 sheet 表，然后关联图表，可以获得仪表盘和图表的关系。
Step5：可视化建模/数据集/图表的宽表与 Step4 关系表，可以获得最终大宽表。

表名	原始字段	重命名字段	清洗规则
aeolus_db.prep_task Full join aeolus_db.aeolus_data_set Left join aeolus_db.aeolus_report	id	prep_resource_id	prep_task
	name	prep_resource_name	prep_task
	owner_email_prefix	prep_resource_owner	prep_task
	ctime	prep_resource_create_time	prep_task
	app_id	prep_resource_app_id	prep_task
	id	dataset_resource_id	aeolus_data_set
	app_id	dataset_resource_app_id	aeolus_data_set
	name	dataset_resource_name	aeolus_data_set
	owner_email_prefix	dataset_resource_owner	aeolus_data_set
	ctime	dataset_resource_create_time	aeolus_data_set
	id	report_resource_id	aeolus_report
	name	report_resource_name	aeolus_report
	owner_email_prefix	report_resource_owner	aeolus_report
	ctime	report_resource_create_time	aeolus_report
	app_id	report_resource_app_id	aeolus_report
aeolus_db.aeolus_dashboard Left join aeolus_db.aeolus_dashboard_sheet Left join aeolus_db.aeolus_report	id	dashboard_resource_id	aeolus_dashboard
	app_id	dashboard_resource_app_id	aeolus_dashboard
	name	dashboard_resource_name	aeolus_dashboard
	owner_email_prefix	dashboard_resource_owner	aeolus_dashboard
	ctime	dashboard_resource_create_time	aeolus_dashboard

4. 用户主题数据

用户主题数据记录不同项目下用户数据，用于统计项目变化、用户变化等分析数据。

4.1 主题字段列表

字段名	字段描述
app_id	项目ID
app_name	项目名称
app_status	项目状态
app_create_time	项目创建时间
app_update_time	项目更新时间
user_id	用户id
user_app_id	用户所属项目ID
user_app_status	用户项目内状态
user_app_create_time	用户添加至项目添加时间
user_app_update_time	用户添加至项目更新时间
user_email_prefix	用户邮箱前缀
user_name	用户中文名称
user_status	用户在职状态
user_create_time	用户集团内添加时间
user_update_time	用户集团内更新时间
p_date	p_date

4.2 实现过程

alt

4.2.1 输入表

aeolus_db.aeolus_app：项目信息表
aeolus_db.aeolus_app_user：项目用户表
aeolus_db.aeolus_user：用户信息表

4.2.2 实现过程简述

Step1： 将 aeolus_db.aeolus_app_user 与 aeolus_db.aeolus_user 关联，获取不同项目内用户的状态，包含用户在集团内的数据和项目内数据。
Step2： 将项目用户数据与项目信息关联，添加项目信息。

表名	原始字段	重命名字段	清洗规则
aeolus_db.aeolus_app	id	app_id
	name	app_name
	status	app_status
	create_time	app_create_time
	update_time	app_update_time
aeolus_db.aeolus_app_user Left join aeolus_db.aeolus_user	id	user_id	aeolus_app_user
	id	user_app_id	aeolus_app_user
	status	user_app_status	aeolus_app_user
	ctime	user_app_create_time	aeolus_app_user
	mtime	user_app_update_time	aeolus_app_user
	user_email_prefix	user_email_prefix	aeolus_user
	name	user_name	aeolus_user
	status	user_status	aeolus_user
	ctime	user_create_time	aeolus_user
	mtime	user_update_time	aeolus_user