1 数据回溯
数据回溯通俗来说即对任务重跑操作,通过对dwd任务及下游关联任务链发起回溯,对谨慎回溯提醒进行确认后执行。
单击查看数据回溯的更多细节操作说明。
- 使用demo02点击顶导「运维中心」->离线任务运维,进行接下来的数据回溯工作。
![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_94bc36d923470952dccb4a9b0bcf5cff.png)
- 在离线任务运维->数据回溯->发起的中,点击新建数据回溯。
![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_a17e79bd202ccbae101fb1ba42bc4c90.png)
- 在数据回溯配置界面,选择回溯任务的配置信息,
- 回溯范围:单任务及其下游
- 回溯任务:dwd_action_exam_detail_df
- 回溯业务时间:2022-08-09(T-1)
- 下游自依赖任务:按照完整依赖设置获取回溯实例
- 指定运行时段:否
- 提升回溯优先级:否
- 回溯任务选择:(全部勾选)
此时,即可将dwd_action_exam_detail_df及其所有的下游任务dwm任务,进行整体回溯,确认输入信息无误,点击下一步
![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_554d7d44b8921da7610d1ad907cff9d9.png)
- 根据前期dwd的配置,在dwd「谨慎回溯」配置界面,点击确认动作:
- 在回溯任务配置界面,设置任务信息:
- 最大并行:2(此参数为任务并发量,按需设置即可)
- 回溯原因:数据刷新重跑任务
确认无误后,点击确定。
- 提交操作成功后,发起回溯
- 状态显示完成及进度显示,更多细节请点击查看详情。
![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/c591e905944a4f0a8e3f76960691fb52~tplv-goo7wpa0wc-image.image)
2 临时查询
说明
临时查询有助于您随时探查和临时处理数据加工逻辑,也可以直接将临时查询转换为开发任务
点击查看临时查询更多细节
- 点击顶导任务开发,重新回到数据开发界面。
- 在左侧列表中选择临时查询标签,点击“新建查询”。
![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_9ff0737c3c93cd76142f68a63fb5c210.png)
- 更新引擎选择 LAS、名称和保存地址,点击确定,进入临时查询界面。
- 左侧点击进入数据库,搜索目标表 student_info_df,点击全选字段。点击「生成使用语句」,编辑器将自动生成sql语句
![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_4146ba063c965e96e40b8bad48e0b3cb.png)
- 在where条件中筛选条件变量date输入常量分区yyyymmdd 点击运行,数据结果中显示运行成功。
3 任务运维
3.1 配置运行监控规则
说明
因dwm_action_exam_summary_df作为叶子节点的核心任务,产出的数据时间尤为重要。需设置任务失败/超时告警提醒、通过【配置质量监控规则】将更有助于产出符合预期的数据,下面将分2个步骤,分别介绍运行监控和质量监控,当触达规则后,您将通过邮件,短信等方式收到告警信息。
注意:一个监控规则可复用给多个任务,以提高任务监控规则配置效率
关于数据运维->离线任务运维:点击查看
关于运行报警监控:点击查看
- 点击顶导的运维中心->在离线任务运维界面,依次点击“监控规则”->“新建监控规则”
![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/3cf5a7aeb7d94915b93eda743eb38a51~tplv-goo7wpa0wc-image.image)
- 基本信息
设置以下监控规则基本信息:
- 规则名称:破线监控
- 规则对象:dwm_action_exam_summary_df
- 监控报警
- 失败告警:第 3 次运行失败
- 超时报警:运行耗时超过30分钟
- 5分钟后仍未开始运行(例如:正常8点运行,8:05仍未启动任务)
- 10分钟后任务未结束 (例如:正常8点运行,8:10分任务还没结束)
- 15分钟后任务仍未成功 (例如:正常8点运行,8:15分任务处于未启动运行等状态,但未显示成功)
- 接收人
设置项目用户为 demo02 - 报警设置
- 监控范围:全部实例(含历史实例)
- 报警形式:普通
- 发送方式:邮件(创建账号时设置的邮箱地址)
- 发送次数:1
- 发送间隔:5min
- 免打扰时段:关闭
- 确认输入无误后,点击“提交”即可创建成功,当任务运行失败时,便会发送邮件告警给demo02
说明
监控规则创建完成后,您可对此运行规则开启、关闭、删除、操作人替换。针对规则继续添加其他任务等操作。
说明:
- 作为上游任务dwd_action_exam_detail_df,需要配置2个运行规则
- 复用之前配置好的破线规则
- 自定义1个紧急提醒规则
- 需要展示dwm任务的血缘依赖DAG图并查看操作日志
- 关于更多任务运维介绍:点击查看
3.2 配置监控提醒
- 选择dwd运行监控
![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_f324ad2fb8dcb3701f920b24131d17b3.png)
- 选择是,复用已创建好的破线规则
- 点击+号,继续创建监控规则2
- 配置截止北京时间8:10分,只要dwd任务没运行成功,则紧急报警,点击提交
- 在监控规则中,显示新规则已生效
- 您也可以在更多操作中,查看如果7天内,3天内的任务历史运行耗时情况
![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_29546570c084d1d1819c0276a2136da9.png)
3.3 任务依赖DAG
说明
作为dwm汇总核心指标,需要查看任务依赖情况是否有效且合理
- 点击dwm的任务DAG,查看任务依赖关系是否正确;
![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_cb82f83c83ed16778a874ae6b3286f28.png)
- 并查看状态栏显示属性,操作日志,代码等信息。
4 实例运维
说明
实例运维展示任务的运行实例信息,可实时查看实例状态变化,通过依赖、诊断和日志快速定位异常,同时可对实例进行重跑、置成功、终止等操作。
关于更多实例运维介绍:点击查看
4.1 实例运行情况
点击左侧导航实例运维,可根据任务状态查看到实例运行情况包含:
![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/764f55f07ca444e0971d6efdafa9ec2a~tplv-goo7wpa0wc-image.image)
- 您可查看成功执行,等待中,运行中,失败等不同实例状态;
- 点击更多实例操作,可重跑或查看实例日志;
- 全选实例,点下方【导出】按钮,点击确定按钮,完成实例列表的导出操作;
- 您也可将实例详细的运行日志下载到本地,并分享给其他成员查看;
- 点击实例DAG按钮,您便可以查看实例上下游血缘信息,操作日志,属性,代码等。
![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_de88b137abd4ba50d8d766674087d65a.png)