AWS托管Apache Flink作业运行失败排查（本地正常）

1. Fat Jar依赖冲突或打包缺陷 #

• AWS托管Flink环境预装了特定版本的Flink核心组件及连接器，若你的fat jar打包时包含了与环境重复的Flink依赖（如flink-table-api-java、flink-connector-kinesis），会触发类加载冲突，导致作业启动失败。而AWS官方示例代码仅使用环境自带依赖，因此无此问题。
• 打包过程中可能遗漏了依赖的资源文件，或未正确排除环境已提供的依赖，导致运行时找不到必要类或出现版本不兼容。

2. Python依赖与环境不兼容 #

• 你的Python应用依赖的第三方库（如数据库驱动、apache-flink版本）与AWS托管Flink支持的Python版本、Flink版本不匹配。例如AWS Flink 1.18仅支持Python 3.8~3.10，若本地使用Python 3.11或依赖的flink-table-api-python版本与环境Flink版本不一致，会引发运行时错误。
• 打包Zip时未完整包含所有Python依赖，或依赖库包含平台相关的C扩展（如本地为macOS，AWS环境为Linux），导致无法在集群中加载。

3. 权限与网络配置缺失 #

• 作业执行角色未配置足够权限：比如访问Kinesis Data Stream的kinesis:DescribeStream、kinesis:GetRecords权限，或访问外部数据库的网络权限（如安全组未开放对应端口给Flink集群IP段）。示例代码使用的默认角色权限完备，因此可正常运行。
• 外部数据库的访问策略未允许AWS Flink集群的VPC/子网访问，导致连接超时，但因日志级别限制，CloudWatch未输出相关错误信息。

4. 作业资源与参数配置不当 #

• 作业设置的并行度、内存配额超出集群资源上限：本地测试时资源充足，部署到AWS Flink后因资源不足导致作业无法启动。
• Kinesis连接器参数配置错误：如未指定正确的AWS区域，或凭证配置与AWS Flink环境的IAM角色机制冲突（本地使用本地凭证链，集群需依赖作业角色权限）。

5. 日志排查不全面 #

• 仅查看了作业的标准输出日志，未检查Flink的Job Manager日志和Task Manager日志。这些日志通常包含类加载失败、资源不足、连接错误等关键信息，可在AWS Flink控制台的作业详情页中找到完整日志路径，或调整日志级别为DEBUG获取更详细的报错信息。

内容的提问来源于stack exchange，提问作者Alagappan