1 数据回溯
数据回溯通俗来说即对任务重跑操作,通过对dwd任务及下游关联任务链发起回溯,对谨慎回溯提醒进行确认后执行。
单击查看数据回溯的更多细节操作说明。
- 使用demo02点击顶导「运维中心」->离线任务运维,进行接下来的数据回溯工作。

- 在离线任务运维->数据回溯->发起的中,点击新建数据回溯。

- 在数据回溯配置界面,选择回溯任务的配置信息,
- 回溯范围:单任务及其下游
- 回溯任务:dwd_action_exam_detail_df
- 回溯业务时间:2022-08-09(T-1)
- 下游自依赖任务:按照完整依赖设置获取回溯实例
- 指定运行时段:否
- 提升回溯优先级:否
- 回溯任务选择:(全部勾选)
此时,即可将dwd_action_exam_detail_df及其所有的下游任务dwm任务,进行整体回溯,确认输入信息无误,点击下一步

- 根据前期dwd的配置,在dwd「谨慎回溯」配置界面,点击确认动作:
- 在回溯任务配置界面,设置任务信息:
- 最大并行:2(此参数为任务并发量,按需设置即可)
- 回溯原因:数据刷新重跑任务
确认无误后,点击确定。
- 提交操作成功后,发起回溯
- 状态显示完成及进度显示,更多细节请点击查看详情。

2 临时查询
说明
临时查询有助于您随时探查和临时处理数据加工逻辑,也可以直接将临时查询转换为开发任务
点击查看临时查询更多细节
- 点击顶导任务开发,重新回到数据开发界面。
- 在左侧列表中选择临时查询标签,点击“新建查询”。

- 更新引擎选择 LAS、名称和保存地址,点击确定,进入临时查询界面。
- 左侧点击进入数据库,搜索目标表 student_info_df,点击全选字段。点击「生成使用语句」,编辑器将自动生成sql语句

- 在where条件中筛选条件变量date输入常量分区yyyymmdd 点击运行,数据结果中显示运行成功。
3 任务运维
3.1 配置运行监控规则
说明
因dwm_action_exam_summary_df作为叶子节点的核心任务,产出的数据时间尤为重要。需设置任务失败/超时告警提醒、通过【配置质量监控规则】将更有助于产出符合预期的数据,下面将分2个步骤,分别介绍运行监控和质量监控,当触达规则后,您将通过邮件,短信等方式收到告警信息。
注意:一个监控规则可复用给多个任务,以提高任务监控规则配置效率
关于数据运维->离线任务运维:点击查看
关于运行报警监控:点击查看
- 点击顶导的运维中心->在离线任务运维界面,依次点击“监控规则”->“新建监控规则”

- 基本信息
设置以下监控规则基本信息:
- 规则名称:破线监控
- 规则对象:dwm_action_exam_summary_df
- 监控报警
- 失败告警:第 3 次运行失败
- 超时报警:运行耗时超过30分钟
- 5分钟后仍未开始运行(例如:正常8点运行,8:05仍未启动任务)
- 10分钟后任务未结束 (例如:正常8点运行,8:10分任务还没结束)
- 15分钟后任务仍未成功 (例如:正常8点运行,8:15分任务处于未启动运行等状态,但未显示成功)
- 接收人
设置项目用户为 demo02 - 报警设置
- 监控范围:全部实例(含历史实例)
- 报警形式:普通
- 发送方式:邮件(创建账号时设置的邮箱地址)
- 发送次数:1
- 发送间隔:5min
- 免打扰时段:关闭
- 确认输入无误后,点击“提交”即可创建成功,当任务运行失败时,便会发送邮件告警给demo02
说明
监控规则创建完成后,您可对此运行规则开启、关闭、删除、操作人替换。针对规则继续添加其他任务等操作。
说明:
- 作为上游任务dwd_action_exam_detail_df,需要配置2个运行规则
- 复用之前配置好的破线规则
- 自定义1个紧急提醒规则
- 需要展示dwm任务的血缘依赖DAG图并查看操作日志
- 关于更多任务运维介绍:点击查看
3.2 配置监控提醒
- 选择dwd运行监控

- 选择是,复用已创建好的破线规则
- 点击+号,继续创建监控规则2
- 配置截止北京时间8:10分,只要dwd任务没运行成功,则紧急报警,点击提交
- 在监控规则中,显示新规则已生效
- 您也可以在更多操作中,查看如果7天内,3天内的任务历史运行耗时情况

3.3 任务依赖DAG
说明
作为dwm汇总核心指标,需要查看任务依赖情况是否有效且合理
- 点击dwm的任务DAG,查看任务依赖关系是否正确;

- 并查看状态栏显示属性,操作日志,代码等信息。
4 实例运维
说明
实例运维展示任务的运行实例信息,可实时查看实例状态变化,通过依赖、诊断和日志快速定位异常,同时可对实例进行重跑、置成功、终止等操作。
关于更多实例运维介绍:点击查看
4.1 实例运行情况
点击左侧导航实例运维,可根据任务状态查看到实例运行情况包含:

- 您可查看成功执行,等待中,运行中,失败等不同实例状态;
- 点击更多实例操作,可重跑或查看实例日志;
- 全选实例,点下方【导出】按钮,点击确定按钮,完成实例列表的导出操作;
- 您也可将实例详细的运行日志下载到本地,并分享给其他成员查看;
- 点击实例DAG按钮,您便可以查看实例上下游血缘信息,操作日志,属性,代码等。
