使用flink run提交PyFlink任务至Docker集群遇连接拒绝问题求助

一、最初的flink run命令错误原因 #

你用flink run -py app.job报错，是因为-py参数要求传入Python脚本的文件路径，而非模块名：

• 若运行脚本文件：使用flink run -py app/job.py（匹配你的目录结构）
• 若运行Python模块：必须搭配--pyFiles参数传递代码包，比如flink run -pym app.job --pyFiles app/（或把app目录打包为zip）

二、当前localhost:8081连接拒绝的核心问题 #

Flink客户端默认会尝试连接本地的JobManager，但你的JobManager在独立Docker容器中，主机名为jobmanager，和flink_app容器处于同一Docker网络，因此需要显式指定JobManager地址。

解决方案 #

方案1：在flink run命令中指定JobManager地址

修改entrypoint.sh中的执行命令，添加-m jobmanager:8081参数：

flink run -m jobmanager:8081 -py /app/flink_app/flink_job.py

方案2：通过环境变量配置默认JobManager地址

在docker-compose.yml的flink_app服务中添加环境变量，让Flink客户端自动识别JobManager地址：

flink_app:
  container_name: flink_app
  image: flink-app:local
  build:
    context: .
    dockerfile: flink_app/Dockerfile
  networks:
    - standard
  depends_on:
    - jobmanager
    - kafka
  environment:
    KAFKA_BOOTSTRAP_SERVERS: "kafka:9092"
    # 添加以下环境变量
    FLINK_JOBMANAGER_ADDRESS: jobmanager
    FLINK_JOBMANAGER_PORT: 8081

修改后entrypoint.sh中的命令可保持原样：flink run -py /app/flink_app/flink_job.py

方案3：配置Flink客户端全局配置文件

在flink_app容器的Flink配置目录中创建flink-conf.yaml，添加：

jobmanager.rpc.address: jobmanager
jobmanager.rpc.port: 8081

可在Dockerfile中添加复制配置的步骤，或通过挂载方式将本地配置文件传入容器。

三、额外说明 #

• 直接用python -m flink_app.flink_job运行时，Flink以本地模式执行，不会提交到集群，因此你看不到任务在Docker集群中运行。只有通过flink run命令才能将任务提交到远程Flink集群。
• 你的wait_for_jobmanager函数已正确等待jobmanager:8081，说明flink_app与jobmanager容器间网络连通，仅因Flink客户端默认走localhost导致连接失败。

内容的提问来源于stack exchange，提问作者jytu65