Databricks Autoloader全Null列被移入_rescued_data问题求助

1. 显式指定读取Schema（推荐方案） #

Autoloader的自动schema推断依赖数据样本，全Null列因无有效数据点会被判定为不存在，进而被移入_rescued_data。显式定义完整schema可强制Autoloader识别所有列，无论其是否全为Null。

实现示例： #

from pyspark.sql.types import StructType, StructField, StringType, DoubleType, DateType

# 根据实际业务列定义完整schema
custom_schema = StructType([
    StructField("string_col", StringType(), nullable=True),
    StructField("double_col", DoubleType(), nullable=True),
    StructField("date_col", DateType(), nullable=True)
])

# 读取时指定自定义schema
df = spark.readStream \
    .format("cloudFiles") \
    .option("cloudFiles.format", "parquet") \
    .schema(custom_schema) \
    .load("abfss://your-container@your-storage.dfs.core.windows.net/parquet-path")

2. 确保Parquet文件保留全Null列的Schema元数据 #

在Azure Functions转换TXT到Parquet时，即使列值全为None，也要保证生成的Parquet文件包含该列的schema信息，避免Autoloader无法识别。

以Pandas转换为例： #

import pandas as pd
from pyarrow import parquet as pq

# 确保DataFrame保留所有目标列，即使值全为None
processed_df = pd.DataFrame({
    "string_col": [None, None, None],
    "double_col": [None, None, None],
    "date_col": pd.date_range("2024-01-01", periods=3)
})

# 写入Parquet时严格保留列schema
pq.write_table(
    pq.Table.from_pandas(processed_df),
    "./output.parquet",
    preserve_index=False
)

你现有的nullable_str()函数无需修改，只需确保转换后的DataFrame不丢失任何列——哪怕列值全为None，也要将该列保留在DataFrame结构中。

3. 调整Autoloader的Schema推断配置 #

若无法提前确定完整schema，可通过参数优化推断行为：

df = spark.readStream \
    .format("cloudFiles") \
    .option("cloudFiles.format", "parquet") \
    .option("cloudFiles.schemaEvolutionMode", "addNewColumns") \
    .option("cloudFiles.inferSchema.enabled", "true") \
    .load("abfss://your-container@your-storage.dfs.core.windows.net/parquet-path")

此方式可靠性略低于显式指定schema，仅当Autoloader能从后续数据样本中推断出列类型时生效。

内容的提问来源于stack exchange，提问作者Mehdi Jafari