使用Apache Spark创建Apache Iceberg表时遇Hadoop目录不存在错误

你遇到的核心问题有两个：一是Windows环境缺失Hadoop的winutils.exe工具，二是SparkSession未配置Iceberg必要参数，导致表创建失败。以下是具体解决步骤：

一、修复winutils缺失问题 #

• 下载与你Hadoop版本（3.3.1）匹配的winutils.exe文件，放到C:\Users\abc\Desktop\ice\hadoop-3.3.1\bin目录下（注意是Hadoop根目录的bin，不是etc/hadoop/bin）
• 配置系统环境变量：
  • 新建HADOOP_HOME变量，值设为C:\Users\abc\Desktop\ice\hadoop-3.3.1
  • 将%HADOOP_HOME%\bin添加到系统PATH环境变量中
• 重启命令行或IDE，让环境变量生效

二、正确配置SparkSession以支持Iceberg #

原代码未配置Iceberg的目录和仓库路径，这会导致Iceberg无法正常工作。修改后的完整代码如下：

from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, StructField, LongType, FloatType, DoubleType, StringType

# 配置SparkSession，添加Iceberg核心参数
spark = SparkSession.builder \
    .appName("IcebergTableSetup") \
    .config("spark.sql.catalog.spark_catalog", "org.apache.iceberg.spark.SparkSessionCatalog") \
    .config("spark.sql.catalog.spark_catalog.type", "hive") \
    .config("spark.sql.catalog.local", "org.apache.iceberg.spark.SparkCatalog") \
    .config("spark.sql.catalog.local.type", "hadoop") \
    .config("spark.sql.catalog.local.warehouse", "file:///C:/Users/abc/Desktop/ice/iceberg_warehouse") \
    .getOrCreate()

# 创建并切换数据库
spark.sql("CREATE DATABASE IF NOT EXISTS icebergdb2")
spark.sql("USE icebergdb2")

# 创建Iceberg表
spark.sql("""
CREATE TABLE IF NOT EXISTS icebergdb2.iceberg_table (
    vendor_id LONG, 
    trip_id LONG, 
    trip_distance FLOAT, 
    fare_amount DOUBLE, 
    store_and_fwd_flag STRING
) USING iceberg
""")

# 验证表创建结果
spark.sql("SHOW TABLES IN icebergdb2").show()

spark.stop()

额外注意事项 #

• 确保PySpark环境已安装Iceberg插件：可通过pip install pyspark[iceberg]完成安装，或在提交任务时指定Iceberg的Jar包
• 若使用Hive Catalog，需确保Hive Metastore服务处于运行状态；若使用Hadoop Catalog，只需确保本地仓库路径有读写权限即可

内容的提问来源于stack exchange，提问作者Sagar Waghmare