Flink对接S3开启Entropy功能后_entropy_未生成随机密钥问题

解决方案 #

• 首先确认S3文件系统插件的部署方式：不要将flink-s3-fs-hadoop或flink-s3-fs-presto依赖打入业务JAR包，必须将对应插件放在Flink集群所有节点的plugins/s3-fs-hadoop（或对应presto目录）下，确保S3文件系统由Flink全局加载，才能读取到flink-conf.yaml中的Entropy相关配置。
• 校验配置前缀和访问Schema匹配：如果你使用s3a://前缀访问S3，对应配置前缀需要改为s3a.entropy.key、s3a.entropy.length；你当前使用的是s3p://前缀，s3.开头的配置是匹配的，无需修改。
• 校验配置是否被正确加载：作业启动后进入Flink UI的作业配置页，搜索s3.entropy前缀的参数，确认s3.entropy.key、s3.entropy.length已被正确读取。若未读取到，说明配置需要放到全局flink-conf.yaml中，部分提交方式的作业级自定义参数不会被文件系统初始化逻辑识别。
• 确认运行环境：本地IDE调试时不会加载集群插件配置，Entropy功能仅在正式部署的Flink集群中生效。
• 测试时不要从旧Savepoint恢复：Entropy注入仅针对新作业首次生成的Checkpoint路径生效，从原有Savepoint恢复的作业会复用旧路径，不会重新生成随机串。

你当前配置的Checkpoint路径s3p://<my-bucket>/_entropy_/flink/checkpoints/stage符合规则要求（_entropy_为桶根路径后的首个路径段），不需要修改路径格式。Flink 1.11.2版本无Entropy功能相关的已知缺陷，增量Checkpoint配置也不会影响Entropy注入逻辑。

内容的提问来源于stack exchange，提问作者Tkanos