Databricks Auto Loader是否支持分区推断？能否为目标表创建分区？

当然可以实现，你可以通过以下方式让Auto Loader为目标表生成/year=xxxx/month=xxx/day=xx这类经典Hive分区结构：

1. 读取阶段明确指定分区列 #

虽然Auto Loader支持自动推断Hive分区列，但手动指定cloudFiles.partitionColumns选项能避免推断误差，确保分区列被精准识别：

.checkpoint_path = "s3://dev-bucket/_checkpoint/dev_table"
(
    spark
    .readStream
    .format("cloudFiles")
    .option("cloudFiles.format", "json")
    .option("cloudFiles.schemaLocation", checkpoint_path)
    # 明确指定要识别的分区列（按实际分区层级调整）
    .option("cloudFiles.partitionColumns", "year,month,day")
    .load("s3://autoloader-source/json-data")
    .writeStream
    .option("checkpointLocation", checkpoint_path)
    .trigger(availableNow=True)
    .toTable("dev_catalog.dev_database.dev_table")
)

2. 写入阶段配置目标表分区 #

在写入流时添加partitionBy选项，Spark会自动为目标表创建Hive风格的分区目录结构：

checkpoint_path = "s3://dev-bucket/_checkpoint/dev_table"
(
    spark
    .readStream
    .format("cloudFiles")
    .option("cloudFiles.format", "json")
    .option("cloudFiles.schemaLocation", checkpoint_path)
    .option("cloudFiles.partitionColumns", "year,month,day")
    .load("s3://autoloader-source/json-data")
    .writeStream
    .option("checkpointLocation", checkpoint_path)
    # 指定分区列，生成Hive风格分区目录
    .option("partitionBy", "year,month,day")
    .trigger(availableNow=True)
    .toTable("dev_catalog.dev_database.dev_table")
)

补充：适配预先创建的分区表 #

如果已经用CREATE TABLE语句提前创建了分区表（例如CREATE TABLE dev_catalog.dev_database.dev_table (...) PARTITIONED BY (year int, month int, day int)），只要读取阶段识别的分区列与表的分区列匹配，Auto Loader会自动将数据写入对应分区，无需额外配置partitionBy（但手动添加能让逻辑更清晰）。

内容的提问来源于stack exchange，提问作者alxsbn