展示项目下已上线的实时任务,可查看任务操作日志、执行日志,可对任务进行报警设置和报警屏蔽操作,同时可对任务进行重启、停止等状态操作。
可通过筛选和搜索,快速查找到指定任务,具体筛选和搜索项有:
在任务列表中,您可执行以下相应操作:
功能 | 说明 |
---|---|
任务名称 | 单击任务名称,您将进入任务开发界面,可以再次编辑修改任务。 说明 流式集成任务重启时,可根据实际情况选择引擎版本升级策略。操作详见全域集成引擎版本升级管理。 |
详情 | 详见下方4.2 任务详情说明。 |
任务血缘 | 单击操作列中的任务血缘按钮,您可查看基于数据源登记信息的流式血缘,查看任务血缘的 DAG 图,从而您可以快速掌握并梳理流式任务的上下游信息,进行流式任务链路的 SLA 申报,提高任务的运维效率。详见下方3.3 任务血缘。 |
日志 | 单击操作列中的日志按钮,您可查看流式任务的 Application Url、最新操作日志(最近一次操作,当天的操作日志)、全部操作日志和执行日志信息。 |
监控 | 单击操作列中的监控按钮,前往详情页的运行监控或云监控界面中,查看 Flink Metric 监控、集成监控、MQ 监控等详情。 |
报警配置 | 查看该任务已配置的运行监控,同时可通过该入口,给当前任务添加新的运行监控。操作详见报警监控。 |
重启 | 详见下方4.3 任务重启说明。 |
停止 | 对于不需要在执行的任务,您可单击操作列中更多 > 停止按钮,进行停止。 说明 停止任务并创建快照功能目前以项目级粒度通过白名单开放,您可通过提工单的方式联系我们开通此项功能。 |
复制 | 单击操作列中更多 > 复制按钮,按照当前的任务配置,在本项目下,将复制对应任务到具体目录下。 |
移动 | 单击操作列中更多 > 移动按钮,将选中任务,移动到指定项目下的指定目录。 |
修改标签 | 您可以自定义标签,用于标识某一类任务,以便快速搜索过滤,操作即时生效,无需重新上线任务。
|
报警ACK设置 | 单击操作列中更多 > 报警 ACK 设置按钮,进入当前任务的报警 ACK 设置页面,按需给任务的指定监控项目,进行报警屏蔽设置,在报警屏蔽时段,该任务触发指定监控的报警,系统会自行屏蔽,不发送给报警接收人。 |
作业快照 | 详见下方4.4 作业快照说明。 |
申请资源池 | 流式计算 Flink 版引擎实时任务执行时计算资源申请入口。 |
删除 | 对于不再需要的任务,可单击操作列中更多 > 删除按钮进行删除。 |
单击操作列中的详情按钮,您可在详情界面查看任务基础信息、配置信息、运行监控、执行日志、操作日志等操作。
功能 | 说明 | |
---|---|---|
基础信息 | 展现任务的基础信息,如任务名称、任务状态、责任人、引擎实例、任务上下游数据源、流式计算 Flink 版引擎任务的 CPU 使用、内存使用等信息。 说明 基础信息中的 CPU 使用、内存使用信息,目前是项目级粒度的白名单开放,您可通过提工单的方式联系我们进行开通。并且,只有正在运行中的 Serverless Flink SQL、Serverless Java Flink任务才会显示以供查看;对于历史运行中的任务,在开白名单后可通过重启任务的方式查看。 | |
配置信息 | 展现任务基础信息、任务设置和执行设置相关信息。如查看任务代码、任务执行资源设置等。 | |
运行监控 | 直接对接火山引擎云监控平台,您可在运行监控页签中查看 Flink Metric 监控、集成监控或 MQ 监控等详情。您也可以单击界面右上角“前往监控平台”按钮,跳转前往云监控平台查看更详细监控明细。 | |
执行日志 | 不同任务类型,执行日志界面操作不同: | |
数据集成实时任务类型 | 在执行日志页签中,您可以看到最新的执行日志,您可根据作业实例的范围、时间范围、日志类型、日志等级或者输入日志相应的关键字后进行筛选搜索。 说明 单次最多下载20000行日志,若搜索查看的日志较多时,您可缩小查询条件后,分批进行下载。 | |
流式计算 Flink 版 引擎任务类型 | 在流式计算 Flink 版引擎任务的执行日志界面, 您可根据日志时间范围、多个日志关键词、日志来源(包含 JobManager、TaskManager)、日志级别以及日志类名等信息进行日志搜索。 | |
EMR 引擎任务类型 | 在 EMR 引擎流式任务的执行界面,您可根据日志来源(包含 JobManager、TaskManager)、日志类型信息进行搜索。 | |
运行事件 | 流式数据集成任务中,您可在运行事件栏中查看当前实例下任务启动过程、运行过程中的事件信息,比如任务状态变化:任务失败、重启等事件类型。 | |
操作日志 | 在操作日志页签中,为您记录了流式任务从创建任务开始,后续的所有操作步骤,包含任务创建、提交上线、开启、关闭、重启等操作记录。 | |
作业快照 | 在作业快照页签中,您可根据实际情况,为当前 Serverless Flink 引擎流式作业,在某个“时间点”,创建作业快照信息。该快照包含数据源读取到的偏移量(offset)、输入源的位置及整个应用的状态信息。快照操作详见 3.2 作业快照。 |
单击操作列中更多 > 重启按钮,在经过重启检查完成后,即可重启流式任务。
引擎类型 | 说明 |
---|---|
流式计算 Flink 版、EMR 引擎 | 流式计算 Flink 版、EMR 引擎下的 Serverless Flink SQL、Serverless Java Flink、EMR Flink SQL、EMR Java Flink 任务类型,在重启时,可指定以下三种重启模式:
说明
|
流式集成任务 | 流式集成任务中,源端为 Kafka、BMQ、RocketMQ 时,您可在重启配置时,选择是否需要“重置 offset”操作。
|
Serverless Flink 引擎作业,支持创建作业快照能力:
说明
在实时任务运维列表中,单击操作列中的详情按钮,进入流式作业详情界面。
单击作业快照页签,进入快照列表界面。
单击手动创建按钮,在弹窗中进行以下快照信息配置:
参数 | 说明 |
---|---|
暂停消费 Source | 根据实际场景,选择是否先将 Source 停止下发数据,再进行 Savepoint 创建。默认为“否”,通常适用于需要即将重启的任务。 说明
|
超时设置 | 设定 Savepoint 制作的超时时间,单位秒。 |
描述 | 填写 Savepoint 创建的描述,方便后续维护管理。 |
快照信息配置完成后,单击确定按钮,等待快照创建完成。
快照创建完成后,您可在快照列表界面,进行以下操作:
当任务中最后一个快照是创建成功的情况下,您可在此单击停止任务按钮,将停止当前正在执行的任务。
在实时任务运维列表界面,单击操作列中的任务血缘按钮,中您可进行以下操作:
在任务列表中,您可以勾选多个任务,在下方的操作栏中进行批量任务操作:进行重启、停止、复制、报警 ACK 设置、添加监控规则等批量操作。
说明
其中流式集成任务重启操作时,您可按需选择集成任务的镜像版本升级策略,操作详见全域集成引擎版本升级管理