You need to enable JavaScript to run this app.
导航

实例运维

最近更新时间2024.04.11 10:47:39

首次发布时间2021.08.13 15:07:15

展示任务的运行实例信息,可实时查看实例状态变化,通过依赖、诊断和日志快速定位异常,同时可对实例进行重跑、置成功、终止等操作。
图片

1 进入实例运维

  1. 登录 DataLeap租户控制台。
  2. 在对应项目下单击运维中心 > 离线任务运维 > 实例运维界面。

2 实例筛选搜索

实例列表按任务名称和业务日期聚合,展示对应业务日期,最新一个实例相关信息。可通过筛选和搜索,快速查找到指定实例,具体筛选和搜索项有:

  • 筛选项:业务日期、任务类型、运行状态、定时时间、开始时间、运行类型、存储目录、调度周期、责任人、任务标签和优先级别。
  • 搜索项:任务 ID /名称,Code,配置参数和项目参数。
    Code 代码,配置参数和项目参数搜索,您可以在下拉框中选择。
    图片
  • 重置:重置按钮可以将筛选项都清除,列表中展现出项目下所有的任务实例。
  • 快速筛选:
    • 我的任务:展示当前账号作为责任人的任务的实例。
    • 我的失败任务:当前账号作为责任人的任务,且运行状态为失败的实例。
    • 我的未完成任务:当前账号作为责任人的任务,且运行状态不是失败或是成功的实例。

3 查看任务实例列表

3.1 实例诊断

注意

实例诊断功能,DataLeap 产品需要购买 “DataOps敏捷研发”、“湖仓一体” 或 “分布式数据自治” 的服务解决方案。

单击运行状态**诊断,**进入实例诊断页面,该页面由三部分内容组成,分别是执行详情、失败信息和延迟运行分析。

  • 执行详情:实例的执行详情,若任务配置有质量监控,可在此处查看对应的质量监控规则的运行情况。
  • 失败信息:当实例运行状态为失败,可在此处进入查看详细日志信息,查看任务失败的具体原因。
  • 延迟运行分析:当实例运行状态为等待运行,则在此处可查看等待运行的关键链路信息;当实例运行状态为成功或是失败,则在此处可查看最晚完成链路信息。

3.2 单实例操作列

功能

说明

实例 DAG

进入实例依赖展示页面,查看实例上下游,支持通过图形或列表,两种模式查看。
详见下方查看实例 DAG 图。

重跑

对选中成功或失败的实例进行重跑操作。

注意

  • 实例重跑时,若需要指定运行时段,则 DataLeap 产品需要购买 “DataOps捷研发”、“湖仓一体” 或 “分布式数据自治” 的服务解决方案。
  • 如果失败的实例,在重跑之前已在数据开发界面调整了代码并重新提交发布,则重跑和后续未运行的实例均会使用最新的代码来运行任务。

查看日志

进入实例日志页面,查看实例的日志概览和日志详情信息。
其中数据集成任务类型,可支持查看其调度日志、具体执行日志和任务运行事件等信息。详见DataSail 日志查看和诊断

说明

任务运行事件包含任务启动过程、运行过程中的事件信息,比如任务状态变化:任务失败、重启等事件类型。

云监控

离线集成任务类型,支持查看任务云监控详情,单击云监控按钮,进入云监控界面,查看集成任务的读写指标、资源组使用率等监控指标信息。

编辑任务

进入任务开发界面,再次编辑修改任务。

置成功

可对尚未运行结束的实例和失败的实例,进行置成功操作。
尚未运行结束的实例:单击更多-置成功,停止实例运行,实例状态变为成功。
已失败的实例:单击更多-置成功,实例状态从失败变为成功。

终止

可对尚未运行结束的实例,进行终止操作。
尚未运行结束的实例:单击更多-终止,停止实例运行,实例状态变为终止。

操作日志

当前实例的操作记录,例如重跑、置成功实例等操作记录。

3.3 批量操作实例

图片
在实例列表中,您可以勾选多个实例,在下方的操作栏中进行批量任务操作:进行终止、重跑、置成功、导出等批量操作。

3.4 查看实例 DAG

实例列表中,单击任务名称或者操作列中的实例 DAG 按钮,进入DAG 展示界面。

3.4.1 血缘展示支持以下两种模式:

  1. DAG 模式:
    1. 所有 DAG 图,您可选择居中、或按照指定百分比来显示。
    2. 单击右侧齿轮图标,您可自定义聚合节点设置,当界面展现的同级节点数 ≥ N 时(N 可自定义),DAG 可以以聚合节点方式呈现。
    3. 右键实例 DAG 图,可单击实例重跑、数据回溯、终止、置成功、查看日志、查看实例、查看任务等操作。
    4. 单击 DAG 图上下边界的 “+” 图标,您可手动展开任务的上下游依赖。
      图片
  2. 列表模式:
    • 血缘类型:勾选展现上游或下游血缘,并输入展示几层血缘,默认展示1层,下方列表中即会展现上下游血缘列表。
    • 血缘列表搜索:您可以筛选展示的层级、运行状态、任务责任人、任务类型,或直接输入任务名称、ID或项目名称进行搜索相关血缘的实例。
    • 批量操作任务:您可以勾选多个任务,单击右上方的重跑、终止、置成功按钮,来批量操作。
    • 操作列:您可以在操作列中进行单实例的重跑、终止、置成功、编辑任务、历史运行耗时、以及查看操作日志等操作。
    • 导出至 Excel:您可以将展示的血缘关系列表,导出至本地 Excel 文件。

3.4.2 实例详情

您可以查看生产环境中周期任务实例的运行诊断、运行日志、属性、操作日志及代码是否符合预期。

  • 运行诊断:查看执行详情、失败信息或延迟运行分析等诊断信息,详见:3.1实例诊断
  • 运行日志:查看实例运行的日志概览和日志详情。
  • 属性:展示当前实例的名称、责任人、运行状态、开始/结束时间、调度周期等基本信息。
  • 操作日志:您对实例的操作,例如终止、重跑、置成功等操作,均会记录在操作日志中,方便后续回溯任务相关操作记录。
  • 代码:离线任务除数据集成同步任务外,可以展现任务的逻辑代码。

图片