You need to enable JavaScript to run this app.
导航
实例运维
最近更新时间:2025.11.17 10:48:58首次发布时间:2021.08.13 15:07:15
复制全文
我的收藏
有用
有用
无用
无用

展示任务的运行实例信息,可实时查看实例状态变化,通过依赖、诊断和日志快速定位异常,同时可对实例进行重跑、置成功、终止等操作。

1 使用说明

  • 当项目是多环境项目时,会同时存在开发环境实例运维中心和生产环境实例运维中心,您可在界面中进行切换。
    Image
  • 多环境项目下的开发、生产环境,两个环境中的周期任务默认均支持每日自动调度生成周期实例,正常执行的实例会产生一定的周期实例费用,若开发环境中无需每日自动调度生成周期实例,您可将开发环境运维中心的任务进行关闭操作。实例费用说明详见资源组计费说明
  • 任务调度实例生成逻辑
    DataLeap 任务的调度实例生成采用 “自动生成 + 每日兜底” 的双重机制,具体逻辑如下:
    • 常规生成逻辑:例行调度任务,在当日的周期实例启动并执行后,系统会自动生成下一个周期的调度实例,例如:今日天任务的实例执行后,会自动生成明日的实例;

      注意

      周期实例的执行,不包含手动调度、重跑或回溯这类操作发起的执行;此类手动操作不会按常规方式生成次日实例。

    • 兜底补全逻辑:若当前的周期实例被手动终止(如昨日生成的今日实例被手动终止),则常规生成实例的逻辑会失效,但当日 23 点时,系统会触发实例生成的兜底机制,来补生成明日的实例,用于补全常规逻辑未生成的场景,不会影响后续调度的正常执行。

2 注意与限制

  • 实例诊断完整版功能依赖于 DataLeap 智能运维助手诊断,目前仅在华北2(北京)、华东2(上海)、华南1(广州)地域开放。
  • DataLeap 智能运维助手为增值服务,您需单独购买 DataLeap 智能运维助手服务,平台会根据实际诊断时的输入/输出 Token 数进行计费。详见智能助手计费
  • 实例诊断功能,DataLeap 产品需要购买 “DataOps敏捷研发”、“湖仓一体” 或 “分布式数据自治” 的服务解决方案。

3 使用前提

已提交并发布数据开发周期调度任务。详见5 提交上线

4 进入实例运维

  1. 登录 DataLeap租户控制台。
  2. 在对应项目下单击运维中心 > 离线任务运维 > 实例运维界面。

Image

5 实例筛选搜索

实例列表按任务名称和业务日期聚合,展示对应业务日期,最新一个实例相关信息。可通过筛选和搜索,快速查找到指定实例,具体筛选和搜索项有:

  • 筛选项:业务日期、任务类型、运行状态、定时时间、开始时间、运行类型、存储目录、调度周期、责任人、任务标签、优先级别、调度资源组和计算资源组。
  • 搜索项:任务 ID /名称,Code,配置参数、项目参数和 ID 列表。
    Code 代码,配置参数、项目参数和 ID 列表搜索,您可以在下拉框中选择。
    Image
  • 重置:重置按钮可以将筛选项都清除,列表中展现出项目下所有的任务实例。
  • 快速筛选:
    • 我的任务:展示当前账号作为责任人的任务的实例。
    • 我的失败任务:当前账号作为责任人的任务,且运行状态为失败的实例。
    • 我的未完成任务:当前账号作为责任人的任务,且运行状态不是失败或是成功的实例。

6 查看任务实例列表

6.1 实例诊断

实例诊断可以对运行失败的实例进行错误诊断,为您提供清晰的运行错误总结、错误原文、原因解读以及相应的解决方案建议。这能够极大程度地为您节省排查错误日志问题的时间,帮助您快速找到解决问题的方法。

注意

  • 实例诊断完整版功能依赖于 DataLeap 智能运维助手诊断,目前仅在华北2(北京)、华东2(上海)、华南1(广州)地域开放,且您需单独购买 DataLeap 智能运维助手服务,平台会根据实际诊断时的输入/输出 Token 数进行计费。详见智能助手计费
  • 若没有开启智能运维助手能力,则实例诊断仅提供实例运行的耗时情况,无法提供更多智能运维助手的诊断能力。

购买智能运维助手服务后,后续操作流程如下:

  1. 项目控制台 > 智能助手控制界面中,启用智能运维助手
    Image
  2. 前往实例运维界面,单击列表中运行状态列的诊断按钮。
  3. 首次进入实例诊断页面,可单击右上角的重新诊断按钮,进行实例智能诊断。诊断结束后,您便可查看详细的诊断总结、错误原因分析及相应的解决方案建议等。

更多实例诊断操作详见5.4 智能运维-运行诊断

6.2 单实例操作列

功能

说明

实例 DAG

进入实例依赖展示页面,查看实例上下游,支持通过图形或列表,两种模式查看。
详见下方3.4 查看实例 DAG说明。

重跑

对选中成功或失败的实例进行重跑操作,在实例重跑窗口中,您可设置“指定可调度时段”、“依赖检查”、“指定重跑队列”、“指定重跑调度资源组”、“提升回溯优先级”等配置项。

注意

  • 实例重跑时,若需要指定运行时段,则 DataLeap 产品需要购买 “DataOps捷研发”、“湖仓一体” 或 “分布式数据自治” 的服务解决方案。
  • 如果失败的实例,在重跑之前已在数据开发界面调整了代码并重新提交发布,则重跑和后续未运行的实例均会使用最新的代码来运行任务。
  • 指定重跑队列目前仅支持 LAS 引擎下的任务类型进行指定,如 LAS SQL、LAS Spark 类型,下拉可选当前项目中已绑定的 LAS 队列信息。绑定操作详见创建项目

查看日志

进入实例日志页面,查看实例的日志概览、运行诊断、调度日志、引擎执行日志、延迟运行分析和实例操作日志等信息。
其中数据集成任务类型,还可支持查看其调度日志、具体执行日志和任务运行事件等信息。详见DataSail 日志查看和诊断

说明

  • 任务运行事件包含任务启动过程、运行过程中的事件信息,比如任务状态变化:任务失败、重启等事件类型。
  • 离线任务调度日志数据,保留 60 天,您可在 60 天内查看相应的调度日志详情。

云监控

离线集成任务类型,支持查看任务云监控详情,单击云监控按钮,进入云监控界面,查看集成任务的读写指标、资源组使用率等监控指标信息。

编辑任务

进入任务开发界面,再次编辑修改任务。

置成功

可对尚未运行结束的实例和失败的实例,进行置成功操作。
尚未运行结束的实例:单击更多-置成功,停止实例运行,实例状态变为成功。
已失败的实例:单击更多-置成功,​实例状态从失败变为成功。

终止

可对尚未运行结束的实例,进行终止操作。
尚未运行结束的实例:单击更多-终止,停止实例运行,实例状态变为终止。

操作日志

当前实例的操作记录,例如重跑、置成功实例等操作记录。

6.3 批量操作实例

Image
在实例列表中,您可以勾选多个实例,在下方的操作栏中进行批量任务操作:进行终止、重跑、置成功、导出等批量操作。

6.4 查看实例 DAG

实例列表中,单击任务名称或者操作列中的实例 DAG 按钮,进入 DAG 展示界面。界面默认展示 3 层上下游依赖关系(如有)。

6.4.1 血缘展示支持的两种模式

  1. DAG 模式:
    • 展示的 DAG 图,您可选择居中、或按照指定百分比来显示。
    • 单击右侧齿轮图标,您可自定义聚合节点设置,当界面展现的同级节点数 ≥ N 时(N 可自定义),DAG 可以以聚合节点方式呈现。
    • 右键实例 DAG 图,可单击实例重跑、数据回溯、终止、置成功、查看日志、查看实例、查看任务等操作。
    • 鼠标悬停至具体实例时,将显示该实例的类型、名称、定时时间、开始时间、更新时间等信息。其中更新时间将随实例状态实时更新:例如手动触发实例重跑时,将显示手动触发时间;等待执行完成后,便实时更新为实例执行结束时间。
    • 单击 DAG 图上下边界的 “+” 图标,您可手动展开任务的上下游依赖。
      Image
  2. 列表模式:
    • 血缘类型:勾选展现上游或下游血缘,并输入展示几层血缘,默认展示1层,下方列表中即会展现上下游血缘列表。
    • 血缘列表搜索:您可以筛选展示的层级、运行状态、任务责任人、任务类型,或直接输入任务名称、ID或项目名称进行搜索相关血缘的实例。
    • 批量操作任务:您可以勾选多个任务,单击右上方的重跑、终止、置成功按钮,来批量操作。
    • 操作列:您可以在操作列中进行单实例的重跑、终止、置成功、编辑任务、历史运行耗时、以及查看操作日志等操作。
    • 导出至 Excel:您可以将展示的血缘关系列表,导出至本地 Excel 文件。

6.4.2 实例详情

您可以查看生产环境中周期任务实例的日志概览、运行诊断、运行日志、属性、操作日志等详情。

参数项

说明

日志概览

EMR SQL、EMR Serverless Spark SQL/JAVA/Python 等 EMR 任务类型支持查看 Tracking URL 链接。

时间轴

清晰展示任务运行过程中的各个运行分支阶段的耗时占比和节点信息,便于分析任务运行时长情况,从而提高日志的运维效率和质量。详见 日志时间轴

说明

时间轴目前仅支持 LAS SQL、EMR Serverless Spark SQL、EMR Serverless Spark Java/Python、离线数据集成任务进行查看。

运行诊断

查看执行详情、错误信息等诊断信息,详见:3.1实例诊断

调度/执行日志

查看实例运行时调度运维侧与引擎侧展现的日志详情。

属性

展示当前实例的名称、责任人、运行状态、开始/结束时间、调度周期等基本信息。

延迟运行分析

当任务实例存在上下游依赖项时,您可查看以下信息。

  • 当实例运行状态为等待执行时,可在此处查看等待执行的关键链路信息。
  • 当实例运行状态为成功失败,可在此处查看最晚完成链路信息。

Image

实例操作日志

您对实例的操作,例如终止、重跑、置成功等操作,均会记录在操作日志中,方便后续回溯任务相关操作记录。