流式任务运维--大数据研发治理套件（私有化）-火山引擎

文档中心

大数据研发治理套件（私有化）

流运维

流式任务运维

流式任务运维中心可查看已上线任务的运行状态、日志、操作记录、异常检查等信息，可以对任务进行重启、停止等状态操作。本文将为您介绍流式任务运维相关操作。

1 进入任务运维

登录DataLeap控制台。
选择数据开发 > 运维中心 > 实时任务运维 > 任务运维，进入任务运维页面。

2 任务筛选搜索

可通过筛选和搜索，快速查找到指定任务，具体筛选和搜索项有：

筛选项：存储目录，任务状态，任务类型，任务标签和引擎类型等筛选方式。
搜索项：任务 ID /名称，Code，配置参数、项目参数和 ID 列表方式。
- Code代码，配置参数、项目参数和 ID 列表搜索，您可以在下拉框中选择。
重置：重置按钮可以将筛选项都清除，列表中展现出项目下所有的任务。
快速筛选：勾选我是责任人或已启用任务，快速筛选出当符合勾选条件的任务。

3 查看任务列表

3.1 单任务操作

在任务列表中，您可执行以下相应操作：

操作项	说明
搜索任务	设置搜索信息，查询符合条件的任务列表。单击重置按钮，可以恢复项目下的默认展示。当设置多个搜索条件时，会取各个条件的交集，进行查询。
编辑任务	单击具体任务名称，可以进入任务开发页面，修改该任务的配置信息。
查看任务详情	单击操作列中的详情按钮，您可在详情界面查看任务基础信息、配置信息、操作日志、作业快照等：基础信息：展现任务的基础信息，如任务名称、任务状态、责任人、引擎实例和任务Yarn/日志链接等信息。配置信息：展现任务基础信息、任务设置和执行设置相关信息。如查看任务代码、任务执行资源设置等。操作日志：在操作日志页签中，为您记录了流式任务从创建任务开始，后续的所有操作步骤，包含任务创建、提交上线、开启、关闭、重启、定时启停等操作记录。定时启停配置：LAS 引擎的 LAS Flink SQL、LAS JAVA Flink 任务支持在详情中查看或编辑定时启停配置。编辑操作说明详见3.3 修改定时启停规则（LAS）。
报警配置	单击某条信息操作列的报警配置按钮，可以配置实时任务的监控报警，相关说明请参见“报警监控”。
查看日志	单击某条信息操作列的日志按钮，查看以下相关信息。部分任务类型显示为 application URL，单击后跳转到Flink UI页面，可以查看对应执行日志。单击操作日志按钮，查看当前任务的操作日志记录，例如任务开启、停止等记录操作。
重启任务	单击某条信息操作列的重启按钮，可依据页面提示，重启当前任务。重启任务窗口说明详见3.2 重启任务。
停止任务	正在运行中的任务，您可单击操作列的更多图标 > 停止按钮，进行以下操作：在弹出的二次确认窗口中，您可根据需要，选择是否需要新建快照。若选择新建快照，需要填写超时设置和描述信息。快照信息填写完成后，单击确定按钮，便可将任务停止。说明在执行重启或停止操作时，若需要人工复查，则需配置相应的发布复查策略。复查策略的配置说明请参见“配置发布复查策略”。
复制任务	单击某条信息操作列的更多图标 > 复制按钮，在弹出的复制任务窗口中，选择存储目录，单击确定按钮，可以按照该任务配置，复制并保存新任务到当前项目的指定目录下。
移动任务	单击某条信息操作列的更多图标 > 移动按钮，在弹出的移动任务窗口中，选择存储目录，单击确定按钮，可以将该任务移动到当前项目的指定目录下。
修改队列	单击某条信息操作列的更多图标 > 修改队列按钮，在弹出的修改队列窗口中，选择新的yarn队列，单击确定按钮，可以将该任务修改为其他执行队列。
修改标签	单击某条信息操作列的更多图标 > 修改标签按钮，在弹出的标签管理窗口中，可以修改任务的标签信息。
报警ACK设置	单击某条信息操作列的更多图标 > 报警ACK设置按钮，在弹出的报警ACK设置窗口中，可以设置该任务运行触发对应监控时的系统报警信息。
删除任务	单击某条信息操作列的更多图标 > 删除按钮，在弹出的确认对话框中，单击确定按钮，可以删除该任务。
批量运维	勾选一个或多个任务，单击列表下方对应的操作按钮，可以批量管理所选任务。

3.2 重启任务

单击某条信息操作列的重启按钮，可依据页面提示，重启当前任务。
其中，流式任务重启时，您可指定以下三种重启模式：

使用最新状态重启：扫描流式作业的最新可用快照，进行重启。
使用历史快照重启：若当前任务有历史快照保存，您可选择保存的历史快照信息，进行重启。
无状态重启：不使用快照信息，直接重启。
重置 offset：流式集成任务或者除 Datagen 数据源连接器外的流式计算开发任务，您需额外判断任务是否需要重置 offset，开启重置 offset，您还需配置消费起始位置，可选择以下位置：
- 最新：直接从最新的消费起始位置重启；
- 最老：从最老的消费起始位置重启；
- 时间戳：您可根据实际情况指定时间所在的消费起始位置重启；
- 分区 offset：Kafka 数据源类型可通过填写分区 offset 信息，将其之后写入的数据重启开始消费。分区 offset 填写示例如下：
```
[
  {
    "partition": 1,
    "offset": 100
  },
  {
    "partition": 2,
    "offset": 200
  }
]
```
不开启“重置 offset”操作时，默认正常从 Checkpoint 开始消费。

说明

实时任务运维列表的“重启”功能以线上配置为准，不应用最新版本草稿。
批量任务操作重启时，均会直接以最新的状态重启。

3.3 修改定时启停规则（LAS）

在您的实际业务场景中，若您希望可以实现流式任务在指定时间进行重启或停止操作时，可以使用定时启停规则。目前仅 LAS Flink SQL、LAS JAVA Flink 流式开发任务，支持使用定时启停规则。

说明

本功能仅 LAS 2.X 版本集群的 LAS Flink SQL、LAS JAVA Flink 流式开发任务支持设置定时启停规则。
每个任务可以设置多个启动、结束时间，平台将在指定的时间点内执行启动、停止操作，单个任务最多增加 10 条启停规则。
若任务已经处于目标状态，则不会再进行触发启停操作。例如定时 09:00 启动运行，当 09:00 时，任务已经处于运行中状态，则不会再触发任务启动。
设置定时启停规则后，建议提前配置相应的启停失败报警，当任务启动（例如资源不足）或停止失败时，将触发报警。报警操作详见报警监控。

在任务列表勾选对应 LAS 引擎流式开发任务后，便可通过以下操作来设置定时启停规则：

单击列表下方“修改 > 修改定时启停规则（LAS）”按钮，进入定时启停设置窗口；
启停时间：
按实际场景勾选需要设置启停的日期，支持勾选周一 ~ 周日多个日期，需至少选择其中一天。并设置对应的启停时间点，支持设置启停时间点为 00:00 或 23:59；
启停时间点：
设置对应的启停时间点，支持设置启停时间点为 00:00 或 23:59；您可单击右侧的或按钮，可分别对应增加或减少一个启停时间点；
执行动作：每个时间点的启停动作，您可选择对应的执行动作：
- 最新状态重启：默认选择该动作，将扫描流式作业的最新可用快照，直接进行重启。
- 无状态重启：不使用快照信息，直接重启。
- 停止任务：设定时间，对处于待启动、初始化、提交中、停止中、重启中、运行中、失败恢复中状态下的任务执行停止操作。
说明
- 重启操作：到达指定时间点后，若当前任务处于”运行中“状态时，则不会进行重启操作，即仅当任务不处于”运行中“状态时，才会进行重启操作。
- 停止操作：到达指定时间点后，若当前任务处于”流式任务成功、已失败、已停止、已降级停止、已取消“这些终止状态时，则无需再进行任务停止操作；仅当任务不处于上述状态时，才会触发停止动作。
设置好启停日期、时间点和执行动作后，便可单击确定按钮，完成任务定时启停设置。