Flink生产环境部署后如何提升maxParallelism最大并行度
Flink生产环境调大setMaxParallelism参数方案(可接受数据丢失、不保留历史状态场景)
你遇到的报错是Flink状态恢复的固有校验逻辑:作业生成checkpoint/savepoint时会把当前的maxParallelism绑定到状态元数据中,恢复时新旧配置不一致就会触发兼容性校验失败。你明确不需要保留历史状态、可接受数据丢失的前提下,直接跳过历史状态恢复即可完成参数调整,具体操作如下:
手动提交作业场景(Standalone/Yarn/K8s集群)
- 提交新作业时移除
-s(指定savepoint路径)的启动参数 - 清空该作业对应的checkpoint存储目录(含HDFS/OSS/本地文件系统等对应的作业专属存储路径),避免Flink自动读取最近的checkpoint尝试恢复
- 直接提交调整了
setMaxParallelism参数的新版本作业即可
平台化托管作业场景
- 停止原有作业时选择不触发保存点、不保留恢复状态的停止选项
- 在作业配置页将
setMaxParallelism调整为目标值 - 重新发布作业时关闭从最近checkpoint/savepoint恢复的开关,正常启动即可
注意事项
- 本次调整的maxParallelism后续如果需要从状态恢复作业就无法再修改,建议设置为未来3~5年预估最大并行度的2倍左右,上限不要超过Flink支持的最大值
32768,避免后续再次需要调整参数
内容的提问来源于stack exchange,提问作者Rohit
相关产品推荐
相关产品推荐

