Flink Iceberg同步失败：org.apache.hadoop.hdfs.HdfsConfiguration类未找到

核心问题 #

报错java.lang.NoClassDefFoundError: org/apache/hadoop/hdfs/HdfsConfiguration本质是Flink运行时无法找到Hadoop HDFS客户端的核心配置类，尽管你添加了部分Hadoop JAR，但存在依赖不完整或路径错误的问题。

具体原因及修复方案 #

1. 缺失关键Hadoop依赖JAR #

Hadoop 3.x版本中，HdfsConfiguration类并不在hadoop-hdfs-*.jar中，而是位于hadoop-hdfs-client-3.3.6.jar里。你当前仅添加了hadoop-hdfs-3.3.6.jar，缺少这个核心JAR导致类找不到。

修复步骤：

• 下载对应版本的hadoop-hdfs-client-3.3.6.jar放到指定目录
• 在代码中添加该JAR到依赖列表：

  hadoop_hdfs_client_jar = os.path.join(os.getcwd(), "pyflink/usr_jobs/lib/hadoop-hdfs-client-3.3.6.jar")
  if not os.path.exists(hadoop_hdfs_client_jar):
      raise FileNotFoundError("Hadoop HDFS Client JAR not found!")
  

  同时更新env.add_jars和pipeline.jars的JAR列表，将这个新JAR加入其中。

2. 依赖完整性问题 #

Hadoop客户端依赖是链式结构，仅添加几个核心JAR可能仍有缺失（比如hadoop-auth、hadoop-common的附属依赖）。更稳妥的方式是：

• 使用Iceberg官方提供的包含Hadoop依赖的完整Iceberg Flink runtime包（比如iceberg-flink-runtime-1.18-1.6.1-with-hadoop-3.3.jar这类预打包版本），替换当前的Iceberg JAR，省去手动添加Hadoop依赖的步骤。

3. 验证PyFlink JAR加载路径 #

确认os.getcwd()返回的当前工作目录与JAR存放目录一致，打印os.getcwd()结果检查绝对路径是否正确。同时确保JAR文件存在且有读取权限，file://前缀的路径格式无误。

4. 补充Iceberg Catalog配置参数 #

你的CREATE CATALOG语句中缺少PostgreSQL的用户名和密码参数，这会导致后续Catalog创建失败，需补充：

CREATE CATALOG my_minio_catalog WITH (
    'type' = 'iceberg',
    'catalog-type' = 'jdbc',
    'uri' = 'jdbc:postgresql://localhost:5432/iceberg',
    'warehouse' = '{warehouse_path}',
    's3.endpoint' = 'http://localhost:9000',
    's3.access-key-id' = 'minio',
    's3.secret-access-key' = 'minio123',
    'username' = '你的PG用户名',
    'password' = '你的PG密码',
    'property-version' = '1'
)

内容的提问来源于stack exchange，提问作者aayushkap