Flink作业提交报错求助：FlinkJobNotFoundException与文件未找到问题

一、文件指定方式确实不正确 #

你这里用file:///storage/flink-1.10.0/test.txt的方式存在明显问题：

• file://协议指向的是每个TaskManager节点的本地文件系统，但你大概率只在提交作业的Client节点（centos1）上放置了这个文件，而执行计算的TaskManager节点根本没有这个文件，这就是TaskManager日志里No such file or directory错误的根源。
• 至于FlinkJobNotFoundException，这其实是衍生问题——作业启动后因为输入文件找不到直接失败，集群会自动清理这个失败的作业，所以后续查询这个JobID时自然找不到，本质是作业根本没正常运行起来。

二、这类问题的排查流程（亲测有效） #

我整理了一套针对Flink集群文件路径+作业启动失败的排查步骤，帮你快速定位问题：

1. 先抓根因，别被表面异常带偏 #

你看到的JobID找不到报错是假象，真正的问题是TaskManager里的文件找不到异常。先把注意力放在这个IO错误上，其他衍生报错自然迎刃而解。

2. 确认文件访问方式适配集群场景 #

Flink集群里处理文件分两种情况：

• 仅用于测试的本地文件：必须保证所有TaskManager节点的相同本地路径下都有这个文件，否则只要有一个节点找不到，作业就会失败。但这种方式绝对不适合生产环境。
• 生产环境标准方案：使用分布式文件系统（比如HDFS、S3、OSS等），路径写成hdfs://namenode:端口/文件路径这种格式，这样所有节点都能通过统一的分布式存储访问到文件，不会出现节点间文件不一致的问题。

3. 验证文件在集群节点的可达性 #

• 如果用本地文件：登录到每一个TaskManager节点，执行ls -l /storage/flink-1.10.0/test.txt，确认文件存在，并且Flink的TaskManager进程有读取权限。
• 如果用分布式文件系统：在Client节点和所有TaskManager节点上，执行对应的文件系统命令（比如HDFS用hdfs dfs -ls hdfs://xxx/文件路径），确认所有节点都能正常访问到目标文件。

4. 检查作业提交参数与集群配置 #

• 确认提交命令里的-m参数指定的JobManager地址是正确的，确保作业确实提交到了目标集群。
• 检查Flink的flink-conf.yaml配置，以及lib目录下的依赖包——比如用HDFS的话，必须保证所有节点的Flinklib目录下都有HDFS的相关jar包，否则会出现无法访问分布式文件的情况。

5. 优化日志排查的小技巧 #

你说Flink日志线索少，其实是没找对日志位置：

• 直接看TaskManager的stdout/stderr日志（一般在Flink安装目录的log文件夹下，文件名是taskmanager-*.out或taskmanager-*.err），这里会打印用户代码的详细报错，比主日志更直接。
• 提交作业时加上-d参数（后台运行模式），这样Client不会等待作业结束，能保留更完整的集群日志信息。
• 打开Flink的WebUI，查看Failed Task的异常堆栈——WebUI里的任务失败详情会直接展示根因，比翻日志高效得多。

三、修复后的正确提交示例 #

如果用HDFS的话，命令改成这样：

./bin/flink run -m 10.0.2.4:8081 ./examples/batch/WordCount.jar --input hdfs://namenode:9000/storage/flink-1.10.0/test.txt --output hdfs://namenode:9000/storage/flink-1.10.0/wordcount_out

如果只是测试用本地文件，先把test.txt同步到所有TaskManager的/storage/flink-1.10.0/目录下，再执行原来的命令就可以了。

内容的提问来源于stack exchange，提问作者vinsent paramanantham