展示项目下已上线的实时任务,可查看任务操作日志、执行日志,可对任务进行报警设置和报警屏蔽操作,同时可对任务进行重启、停止等状态操作。
1 进入任务运维
- 登录 DataLeap租户控制台。
- 在对应项目下单击运维中心 > 实时任务运维 > 任务运维界面。
2 任务筛选搜索
可通过筛选和搜索,快速查找到指定任务,具体筛选和搜索项有:
- 筛选项:责任人、存储目录,任务状态,任务类型,任务标签和引擎类型等筛选方式。
- 搜索项:任务 ID /名称,Code,配置参数、项目参数和 ID 列表方式。
- Code代码,配置参数、项目参数和 ID 列表搜索,您可以在下拉框中选择。
- 重置:重置按钮可以将筛选项都清除,列表中展现出项目下所有的任务。
- 快速筛选:勾选我的任务,即筛选出当前账号作为责任人的任务。
3 查看任务列表
3.1 单任务操作
在任务列表中,您可执行以下操作:
功能 | 说明 |
---|
任务名称 | 单击任务名称,您将进入任务开发界面,可以再次编辑修改任务。
若当前运行的流式任务版本非最新版本,您可将鼠标移动至“NEW”字样,并在提示中单击“版本对比”按钮,可查看线上运行版本与当前最新版本间的差异情况;也可单击“重启”按钮,进行实时任务重启操作。
|
详情 | 单击操作列中的详情按钮,您可在详情界面查看任务基础信息、配置信息、运行监控、执行日志、操作日志等操作: - 基础信息:
展现任务的基础信息,如任务名称、任务状态、责任人、引擎实例和任务上下游数据源等信息。
您可以在数据源中查看 Source、Sink 数据源类型,数据源属性和上下游直接任务信息。若发现数据源信息有误时,您可单击订正任务血缘按钮,前往数据开发界面订正任务血缘信息。 - 配置信息:
展现任务基础信息、任务设置和执行设置相关信息。如查看任务代码、任务执行资源设置等。 - 运行监控:
直接对接火山引擎云监控平台,您可在运行监控页签中查看 Flink Metric 监控、集成监控或 MQ 监控等详情。您也可以单击界面右上角“前往监控平台”按钮,跳转前往云监控平台查看更详细监控明细。
- 执行日志:
在执行日志页签中,您可以看到最新的执行日志,您可根据作业实例的范围、时间范围、日志类型、日志等级或者输入日志相应的关键字后进行筛选搜索。
单击日志详情右侧的下载按钮,也可将搜索后的日志进行下载到本地进行查看分析。说明 单次最多下载20000行日志,若搜索查看的日志较多时,您可缩小查询条件后,分批进行下载。 - 运行事件:
流式数据集成任务中,您可在运行事件栏中查看当前实例下任务启动过程、运行过程中的事件信息,比如任务状态变化:任务失败、重启等事件类型。 - 操作日志:
在操作日志页签中,为您记录了流式任务从创建任务开始,后续的所有操作步骤,包含任务创建、提交上线、开启、关闭、重启等操作记录。 - 作业快照:
在作业快照页签中,您可根据实际情况,为当前 Serverless Flink 引擎流式作业,在某个“时间点”,创建作业快照信息。该快照包含数据源读取到的偏移量(offset)、输入源的位置及整个应用的状态信息。快照操作详见 3.2 作业快照。
|
任务血缘 | 单击操作列中的任务血缘按钮,您可查看基于数据源登记信息的流式血缘,查看任务血缘的 DAG 图,从而您可以快速掌握并梳理流式任务的上下游信息,进行流式任务链路的 SLA 申报,提高任务的运维效率。详见下方3.3 任务血缘。 |
日志 | 单击操作列中的日志按钮,您可查看流式任务的 Application Url、最新操作日志(最近一次操作,当天的操作日志)、全部操作日志和执行日志信息。 |
监控 | 单击操作列中的监控按钮,前往详情页的运行监控或云监控界面中,查看 Flink Metric 监控、集成监控、MQ 监控等详情。 |
报警配置 | 查看该任务已配置的运行监控,同时可通过该入口,给当前任务添加新的运行监控。操作详见报警监控。 |
重启 | 单击操作列中更多 > 重启按钮,在经过重启检查完成后,即可重启流式任务。 |
流式计算 Flink 版引擎下的 Serverless Flink SQL、Serverless Java Flink 任务类型,在重启时,可指定以下两种重启模式: - 使用最新状态重启:扫描流式作业的最新可用快照,进行重启。
- 使用历史快照重启:若当前任务有历史快照保存,您可选择保存的历史快照信息,进行重启。快照操作详见 3.2 作业快照。
- 无状态重启:不使用快照信息,直接重启。
|
流式集成任务中,源端为 Kafka、BMQ、RocketMQ 时,您可在重启配置时,选择是否需要“重置 offset”操作。 |
停止 | 对于不需要在执行的任务,您可单击操作列中更多 > 停止按钮,进行停止。 说明 已停止的任务,当需要再次例行执行,您可单击更多 > 重启按钮进行启动。 |
复制 | 单击操作列中更多 > 复制按钮,按照当前的任务配置,在本项目下,将复制对应任务到具体目录下。 |
移动 | 单击操作列中更多 > 移动按钮,将选中任务,移动到指定项目下的指定目录。 |
修改标签 | 您可以自定义标签,用于标识某一类任务,以便快速搜索过滤,操作即时生效,无需重新上线任务。 - 下拉选择项目归属的标签组,及对应的标签信息,支持添加多个标签组。
- 若没有可选的标签组,您可前往项目控制台--->标签管理来新建标签组或添加标签组。
标签管理详见文档:https://www.volcengine.com/docs/6260/119813 |
报警ACK设置 | 单击操作列中更多 > 报警 ACK 设置按钮,进入当前任务的报警 ACK 设置页面,按需给任务的指定监控项目,进行报警屏蔽设置,在报警屏蔽时段,该任务触发指定监控的报警,系统会自行屏蔽,不发送给报警接收人。 |
删除 | 对于不再需要的任务,可单击操作列中更多 > 删除按钮进行删除。 |
3.2 作业快照
3.2.1 新建快照
Serverless Flink 引擎作业,支持创建作业快照能力:
说明
- Flink 1.16 执行引擎版本的作业,可直接进行快照创建;
- Flink 1.11 执行引擎版本,需先在任务调度设置 > Flink 运行参数窗口,添加快照参数:execution.checkpointing.interval=30s 后,方可进行快照创建,否则会出现快照创建失败的情况。
- 您也可通过参数设置,来定时创建快照,即配置 execution.checkpointing.interval=30s 参数
在实时任务运维列表中,单击操作列中的详情按钮,进入流式作业详情界面。
单击作业快照页签,进入快照列表界面。
单击手动创建按钮,在弹窗中进行以下快照信息配置:
参数 | 说明 |
---|
暂停消费 Source | 根据实际场景,选择是否先将 Source 停止下发数据,再进行 Savepoint 创建。默认为“否”,通常适用于需要即将重启的任务。 说明 - 仅 Flink 1.11 的执行引擎,方可选择是否暂停消费 Source。
- Savepoint 成功后消费会停止,您需手动重启作业。
- Savepoint 失败后作业会恢复消费。
|
超时设置 | 设定 Savepoint 制作的超时时间,单位秒。 |
描述 | 填写 Savepoint 创建的描述,方便后续维护管理。 |
快照信息配置完成后,单击确定按钮,等待快照创建完成。
3.2.2 快照管理
快照创建完成后,您可在快照列表界面,进行以下操作:
- 筛选快照
- 您可指定开始日期和结束日期,在锁定时间范围内,筛选对应的快照完成时间;
- 您可通过下拉选择快照的创建状态,来筛选对应状态下的快照信息;
- 你也可通过创建快照时,输入的描述信息,来查询对应的快照。
- 查看快照
单击操作列中的查看按钮,便可查看当前快照的类型、对应任务版本、描述等信息。
3.3 任务血缘
在实时任务运维列表界面,单击操作列中的任务血缘按钮,中您可进行以下操作:
- 可自定义默认展开的 DAG 图显示百分比,或中心定位操作。
- 右键任务 DAG 图,可单击前往任务开发、配置监控、查看报警记录等操作。
- 单击 DAG 图上下边界的 “+” 图标,您可手动展开任务的上下游依赖。
- 若展现的血缘不符合您的要求,您也可单击订正任务血缘按钮,前往任务开发重新配置上下游血缘关系。
3.4 批量操作列
在任务列表中,您可以勾选多个任务,在下方的操作栏中进行批量任务操作:进行重启、停止、复制、报警 ACK 设置、添加监控规则等批量操作。