在Databricks中创建带Parquet格式V2 checkpoint的Delta表遇阻

我在Databricks中创建采用V2 checkpoint策略的Delta表，因测试场景需要，要求checkpoint主文件（而非0000000...10.checkpoint.parquet这类副文件）为Parquet格式。但在Python Notebook中操作时，无论配置哪些属性，checkpoint主文件始终是JSON格式。已尝试设置writeFormat="parquet"和writeStatsAsStruct=true，均无效，且未在Databricks/Spark文档中找到其他相关属性。

以下是创建Delta表的脚本：

from pyspark.sql import SparkSession

storage_account_name = "MyAccount"
container_name = "MyContainer"
account_key = "SomeKey"
output_path = f"abfss://{container_name}@{storage_account_name}.dfs.core.windows.net"

# Set Spark config for ADLS Gen2 with account key auth
spark.conf.set(f"fs.azure.account.key.{storage_account_name}.dfs.core.windows.net", account_key)
spark.conf.set("spark.databricks.delta.checkpoint.writeStatsAsStruct", "true")
spark.conf.get("spark.databricks.delta.checkpoint.writeStatsAsJson", "not set")
spark.conf.set("spark.databricks.delta.checkpoint.writeFormat", "parquet")
spark.conf.set("spark.databricks.delta.checkpoint.interval", "10")

# Define and create the Delta table with V2 checkpoint policy
df = spark.range(1000)

# Set V2 checkpoint policy when writing
df.write.format("delta") \
    .option("delta.checkpointPolicy", "v2") \
    .mode("overwrite") \
    .save(output_path)

# Now make some updates to ensure a V2 checkpoint is created
for i in range(100):
    spark.range(1000 + i * 10, 1000 + (i + 1) * 10) \
        .write.format("delta") \
        .mode("append") \
        .save(output_path)

解决方案 #

• 核心逻辑：V2 Checkpoint主文件默认就是JSON格式
  Delta Lake 2.0+版本中，V2 Checkpoint的设计就是拆分元数据与统计信息：

  • 主checkpoint文件（如_delta_log/checkpoint/00000000000000000010.checkpoint）为JSON格式，负责记录表的元数据结构、事务历史引用等核心信息；
  • 后缀为.checkpoint.parquet的文件是辅助统计文件，存储分区级统计数据，这部分才受writeFormat配置控制。
    你想要让主文件变为Parquet格式，不符合当前Delta Lake的设计规范，目前没有配置可以修改主文件的格式。

• 你尝试的配置实际作用

  • spark.databricks.delta.checkpoint.writeFormat="parquet"：仅控制辅助统计文件的格式，也就是那些.checkpoint.parquet文件，和主文件无关；
  • spark.databricks.delta.checkpoint.writeStatsAsStruct=true：让统计信息以结构化方式存储在Parquet文件中，同样不影响主文件的格式。

• 确认V2 Checkpoint是否正常生效
  检查_delta_log/checkpoint目录下的文件：

  • 若同时存在JSON主文件和对应的Parquet统计文件，说明V2 Checkpoint已正常生成；
  • 若只有单个JSON文件，说明仍在使用V1 Checkpoint，可能是以下原因：
    1. Databricks Runtime版本过低（需11.0+，对应Delta Lake 2.0+）；
    2. delta.checkpointPolicy配置未正确应用（建议全局设置或在表创建时明确指定）。

• 正确启用V2 Checkpoint的步骤

  1. 确认Databricks Runtime版本≥11.0；
  2. 全局配置V2 Checkpoint策略（可选）：

     spark.conf.set("spark.databricks.delta.checkpointPolicy", "v2")
     

  3. 创建表时明确指定策略：

     df.write.format("delta") \
         .option("delta.checkpointPolicy", "v2") \
         .option("delta.checkpointInterval", 10) \
         .mode("overwrite") \
         .save(output_path)
     

内容的提问来源于stack exchange，提问作者Uri Shapira