CDC 深度检查能力是一项引擎侧的增强能力,旨在提升产品的易用性。深度检查能够在校验阶段,提前检查 CDC 作业数据源的网络是否连通,作业编译阶段是否有报错。
深度检查包含如下功能:
在 Flink CDC 任务中,点击“验证”按钮后,如下:
点击后会弹出一个选择框,点选“开启深度检查”,并根据作业版本,选择对应资源池的 Session 集群,之后点击深度检查:
校验结果展示:
会检测各 Connector 数据源 endpoint 的 ip 和 port 的网络连通性,如果网络访问不通,则快速报错。会先对所有 ip 进行检测,如果 ip 连通失败,则直接报错。如果 ip 都能连通,则继续检测所有 ip 和 port 的组合,如果连通失败,则直接报错,反之,则正常通过。
报错提示信息:
覆盖已常见的 6 种 Connector:
Connector 类型 | Serverless Flink 1.16 |
|---|---|
mysql | 支持 |
starrocks | 支持 |
bytehouse-cdw | 支持 |
doris | 支持 |
paimon | 支持 |
paimon-las | 支持 |
检测从 YAML 解析到生成最终的 Transformation 的整个编译阶段的问题。
校验结果展示: