You need to enable JavaScript to run this app.
导航

DataSail 日志查看和诊断

最近更新时间2024.03.01 11:30:55

首次发布时间2024.01.30 19:52:46

本文为您介绍 DataSail 任务各种任务类型的日志查看方式,方便您可快速获取执行日志进行错误排查。

1 日志查看入口

DataSail 目前支持离线集成、实时集成、整库解决方案三种任务类型,各任务类型日志查看入口如下:

1.1 离线集成

离线集成任务发布至运维中心执行后,您可通过以下方式进行日志查看:

  1. 登入DataLeap 控制台
  2. 进入数据开发 > 运维中心 > 离线任务运维界面。
  3. 左侧导航栏选择【实例运维】,通过任务名称或任务 ID 信息,筛选需要查看日志的任务。
  4. 单击操作列的【查看日志】按钮,进入实例日志界面。
    图片
  5. 进入实例日志页后,切换到【执行日志】页签,便可查看指定时间范围内的日志信息:
    1. 您可根据需要,可选择相应的日志类型进行查看,支持查看 Job Manager、Task Manager、Client 日志类型。
    2. 在对应的日志类型下,您也可下拉选择 log、err、out 类型,或在日志等级中,选择对应的等级,进行快速查看对应的日志,如快速排错,可选择【ERROR】后进行搜索查看。
    3. 单击【刷新】按钮,您可实时查看最新的日志信息。
    4. 单击【下载】按钮,可将全部日志下载至本地后,进行查看。

      说明

      单次最多下载 20000 行日志,若搜索查看的日志较多时,您可缩小查询条件后,分批进行下载。

    图片
  6. 进入实例日志页面后,切换到【任务运行事件】页签,可查看当前实例下任务启动过程、运行过程中的事件信息,比如任务状态变化:任务失败、重启等事件类型。
    单击操作列下的【查看此实例ID事件】按钮,可快速复制实例 ID 信息,并填充进上方搜索框中进行快速搜索。

1.2 实时集成

  1. 登入DataLeap 控制台
  2. 进入数据开发 > 运维中心 > 实时任务运维界面。
  3. 在左侧导航栏中选择【任务运维】,通过任务名称或任务 ID 信息,筛选需要查看日志的任务。
  4. 单击操作列中的日志 > 执行日志按钮,进入实时任务执行日志界面。
    图片
  5. 在执行日志界面,您将看到最新的执行日志信息。您也可通过以下筛选项,进行更精确的日志范围搜索或日志下载操作:
    1. 界面默认展现当前最新执行的作业实例,从开始执行后到现在的日志信息,您可在【作业实例】处,下拉选择历史实例的时间段;也可直接通过指定【时间】范围来进行查看。
    2. 您也可根据需要,可选择相应的日志类型进行查看,支持查看 Job Manager、Task Manager、Client 日志类型。
    3. 在对应的日志类型下,您可下拉选择 log、err、out 类型,或在日志等级中,选择对应的等级,进行快速查看对应的日志,如快速排错,可选择【ERROR】后进行搜索查看。
    4. 在关键词输入框中,您也可通过输入日志中相应的关键词信息进行搜索。
    5. 单击【刷新】按钮,您可实时查看最新的日志信息。
    6. 单击【下载】按钮,可将全部日志下载至本地后,进行查看。

      说明

      单次最多下载 20000 行日志,若搜索查看的日志较多时,您可缩小查询条件后,分批进行下载。

    图片

1.3 整库解决方案

  1. 登入DataLeap 控制台
  2. 单击左侧引擎管理下的【全域数据集成】入口,进入 DataSail 概览界面。
  3. 单击右侧导航栏【数据同步方案】入口,进入解决方案列表详情页。
  4. 通过各搜索筛选项,选择需要查看日志的解决方案,单击运维列中的执行详情按钮,进入查看详细的解决方案执行步骤。
    图片
  5. 单击子任务中增量流任务启动执行详情按钮,并单击弹窗中运维列下的更多 > 去运维按钮,前往实时集成任务运维界面,进行查看实际执行日志。
    • 如果批任务有问题,您也可单击一次性全量批任务启动中的执行详情
      图片
      图片
  6. 在运维界面中,各任务类型的日志查看方式便和上述离线集成实时集成的操作一致,剩余操作详见上方1.1 离线集成1.2 实时集成

2 常见异常日志诊断

问题类型

日志关键字

解决方案

资源不够

OutOfMemoryError
图片

任务资源分配异常,您可通过以下两个方向进行资源调整:

  1. 任务进行资源调优
  2. 资源进行扩容

字段类型问题

ErrorMessage
com.bytedance.dataplatform.dts.solution.exception.SolutionException: call CoralCreateDataStore error due to StarRocks资产创建失败,原因: java.lang.RuntimeException: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Getting syntax error at line 12, column 32. Detail message: Unexpected input '游æˆ�', the most similar input is {',', ')'}.

MySQL 表字段值处理异常,请查看数据源对该字段的支持情况支持的数据源--大数据研发治理套件-火山引擎

表设置问题

表分区不存在
Caused by: com.aliyun.odps.tunnel.TunnelException: RequestId=20240110002125c2c7dc0b02a8fc69, ErrorCode=NoSuchPartition, ErrorMessage=The specified partition does not exist.

任务写入的分区表不存在,需要建表完成后,重启任务。