从HDFS提交Flink作业提示JAR不存在的问题排查求助

一、依赖是否足够？ #

从你提供的pom.xml截图来看，已包含flink-java、flink-streaming-java_2.12核心依赖以及slf4j-api日志依赖，对于简单的HelloWorld类型Flink作业来说，基础依赖是足够的。仅需确认maven-shade-plugin是否正确配置了主类（确保生成的JAR可执行），但这不是当前“JAR不存在”报错的直接诱因。

二、可能的配置缺失 #

• HDFS权限不匹配：Flink进程通常以flink用户运行，即便你的个人账号能通过hdfs dfs -ls看到文件，Flink进程可能无该文件的读权限。
• Flink未加载Hadoop配置：conf/flink-conf.yaml中未指定Hadoop配置路径，导致Flink无法正确解析HDFS地址。
• 缺少HDFS客户端依赖：Flink的lib目录下缺失Hadoop客户端相关JAR（如hadoop-hdfs-*.jar、hadoop-common-*.jar），无法与HDFS建立连接。

三、解决建议 #

1. 修复HDFS文件权限
   执行命令给目标JAR添加其他用户读权限：

   hdfs dfs -chmod o+r hdfs:///user/kirankathe/demo-helloworld-0.0.1-SNAPSHOT.jar
   

   之后重新提交作业测试。

2. 配置Flink的Hadoop环境
   在conf/flink-conf.yaml中添加以下配置，指定Hadoop配置文件路径（需替换为你的实际路径）：

   fs.hdfs.hadoopconf: /etc/hadoop/conf
   

   配置完成后重启Flink集群。

3. 使用完整HDFS路径提交
   尝试携带namenode地址的完整路径提交作业，例如：

   ./flink run hdfs://localhost:9000/user/kirankathe/demo-helloworld-0.0.1-SNAPSHOT.jar
   

4. 排查Flink日志
   查看JobManager日志文件（log/flink-*-jobmanager-*.log），日志中会包含更详细的错误详情（如权限拒绝、HDFS连接失败等），帮助定位根本问题。

5. 验证JAR本身有效性
   将HDFS上的JAR下载到本地，执行本地提交命令验证JAR是否正常：

   ./flink run ./demo-helloworld-0.0.1-SNAPSHOT.jar
   

内容的提问来源于stack exchange，提问作者kirankumarkathe