最近更新时间:2022.09.19 22:01:38
首次发布时间:2022.09.19 22:01:38
数据回溯通俗来说即对任务重跑操作,通过对dwd任务及下游关联任务链发起回溯,对谨慎回溯提醒进行确认后执行。
点击查看数据回溯的更多细节
1)使用demo02点击顶导「运维中心」->离线任务运维,进行接下来的数据回溯工作。
2)在离线任务运维->数据回溯->发起的中,点击新建数据回溯。
3)在数据回溯配置界面,选择回溯任务的配置信息,
回溯范围:单任务及其下游
回溯任务:dwd_action_exam_detail_df
回溯业务时间:2022-08-09(T-1)
下游自依赖任务:按照完整依赖设置获取回溯实例
指定运行时段:否
提升回溯优先级:否
回溯任务选择:(全部勾选)
此时,即可将dwd_action_exam_detail_df及其所有的下游任务dwm任务,进行整体回溯,确认输入信息无误,点击下一步
4)根据前期dwd的配置,在dwd「谨慎回溯」配置界面,点击确认动作:
5)在回溯任务配置界面,设置任务信息:
最大并行:2(此参数为任务并发量,按需设置即可)
回溯原因:数据刷新重跑任务
确认无误,点击确定。
6)提交操作成功后,发起回溯
7)状态显示完成及进度显示,更多细节请点击查看详情
说明
临时查询有助于您随时探查和临时处理数据加工逻辑,也可以直接将临时查询转换为开发任务
点击查看临时查询更多细节
1)点击顶导任务开发,重新回到数据开发界面。
2)在左侧列表中选择临时查询标签,点击“新建查询”。
3)更新引擎选择 LAS、名称和保存地址,点击确定,进入临时查询界面。
4)左侧点击进入数据库,搜索目标表 student_info_df,点击全选字段。点击「生成使用语句」,编辑器将自动生成sql语句
5)在where条件中筛选条件变量date输入常量分区yyyymmdd 点击运行,数据结果中显示运行成功。
说明
因dwm_action_exam_summary_df作为叶子节点的核心任务,产出的数据时间尤为重要。需设置任务失败/超时告警提醒、通过【配置质量监控规则】将更有助于产出符合预期的数据,下面将分2个步骤,分别介绍运行监控和质量监控,当触达规则后,您将通过邮件,短信等方式收到告警信息。
注意:一个监控规则可复用给多个任务,以提高任务监控规则配置效率
关于数据运维->离线任务运维:点击查看
关于运行报警监控:点击查看
1)点击顶导的运维中心->在离线任务运维界面,依次点击“监控规则”->“新建监控规则”
2)基本信息
规则名称:破线监控
规则对象:dwm_action_exam_summary_df
监控报警
失败告警:第 3 次运行失败
超时报警:运行耗时超过30分钟
5分钟后仍未开始运行(例如:正常8点运行,8:05仍未启动任务)
10分钟后任务未结束 (例如:正常8点运行,8:10分任务还没结束)
15分钟后任务仍未成功 (例如:正常8点运行,8:15分任务处于未启动运行等状态,但未显示成功)
接收人
报警设置
报警形式:普通
发送方式:邮件(创建账号时设置的邮箱地址)
发送次数:1
发送间隔:5min
免打扰时段:关闭
确认输入无误后,点击“提交”即可创建成功,当任务运行失败时,会发送邮件告警给demo02
4)显示配置完成
说明
您可对此运行规则开启、关闭、删除、操作人替换。针对规则继续添加其他任务等操作。
说明:
作为上游任务dwd_action_exam_detail_df,需要配置2个运行规则
复用之前配置好的破线规则
自定义1个紧急提醒规则
需要展示dwm任务的血缘依赖DAG图并查看操作日志
关于更多任务运维介绍:点击查看
1)选择dwd运行监控
2)选择是,复用已创建好的破线规则
3)点击+号,继续创建监控规则2
4)配置截止北京时间8:10分,只要dwd任务没运行成功,则紧急报警,点击提交
5)在监控规则中,显示新规则已生效
6)您也可以在更多操作中,查看如果7天内,3天内的任务历史运行耗时情况
说明
作为dwm汇总核心指标,需要查看任务依赖情况是否有效且合理
1)点击dwm的任务DAG,查看任务依赖关系是否正确
2)状态栏显示属性,操作日志,代码等信息查询
说明
实例运维展示任务的运行实例信息,可实时查看实例状态变化,通过依赖、诊断和日志快速定位异常,同时可对实例进行重跑、置成功、终止等操作。
关于更多实例运维介绍:点击查看
1)点击左侧导航实例运维,可根据任务状态查看到实例运行情况包含
成功执行,等待中,运行中,失败 等不同实例状态
点击更多实例操作,可重跑或查看实例日志
2)全选实例,点下方【导出】按钮,点击确定
3)您可分享实例详细运行日志,并分享给其他成员
4)点击实例DAG
5)您可以看到实例上下游血缘信息,操作日志,属性,代码等