完全可以通过DataFrameWriter实现自动创建Iceberg表并设置表属性，无需使用spark.sql()执行SQL语句。具体实现方式是通过Iceberg支持的写入选项传递表属性，以下是详细步骤和示例：

实现步骤 #

1. 确保SparkSession配置正确（已包含你提供的配置项）
2. 使用DataFrameWriter的format("iceberg")指定Iceberg格式
3. 通过option("table-property.属性名", "属性值")的方式设置表属性
4. 调用save()指定表的完整路径（格式：catalog名.库名.表名），当表不存在时会自动创建

代码示例 #

初始化SparkSession #

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()
  .appName("IcebergAutoCreateTable")
  .config("spark.sql.catalog.spark_catalog", "org.apache.iceberg.spark.SparkSessionCatalog")
  .config("spark.sql.extensions", "org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions")
  .config("spark.sql.catalogImplementation", "hive")
  .getOrCreate()

创建测试DataFrame #

val testDF = spark.createDataFrame(Seq(
  (1, "Alice", 25),
  (2, "Bob", 30)
)).toDF("id", "name", "age")

写入并自动创建表（带属性设置） #

testDF.write
  .format("iceberg")
  .mode("append") // 可根据需求选择overwrite/append等模式
  // 设置Iceberg表属性
  .option("table-property.write.format.default", "parquet")
  .option("table-property.write.metadata.delete-after-commit.enabled", "true")
  .option("table-property.custom.my_property", "custom_value")
  // 可选：指定表的存储位置
  .option("create-table-default-location", "/warehouse/path/db/my_table")
  // 指定表的完整标识
  .save("spark_catalog.my_db.my_iceberg_table")

关键说明 #

• 表属性通过table-property.前缀传递，Iceberg会自动将这些配置应用到新建的表中
• 写入模式选择append或overwrite时，若目标表不存在，Iceberg会基于DataFrame的Schema和指定的属性自动创建表
• 支持设置所有Iceberg官方支持的表属性，也可以添加自定义属性

内容的提问来源于stack exchange，提问作者tru