使用Databricks Unity Catalog时NULL被转为字符串的问题求助

以下是几个实用的解决思路，覆盖从读取配置到数据预处理的不同场景：

1. 读取CSV时直接指定空值映射参数 #

这是最直接的方案，在Spark读取CSV文件时，通过nullValue参数明确告诉Spark将字符串'NULL'解析为真正的NULL值，无需后续额外处理。

Python 示例： #

df = spark.read.csv(
    "/dbfs/path/to/your/uploaded/file.csv",
    header=True,
    inferSchema=True,
    nullValue="NULL"  # 核心配置，将'NULL'字符串转为SQL NULL
)

Scala 示例： #

val df = spark.read
  .option("header", "true")
  .option("inferSchema", "true")
  .option("nullValue", "NULL")
  .csv("/dbfs/path/to/your/uploaded/file.csv")

2. 读取后批量替换字符串'NULL'为NULL #

如果已经完成文件读取，或者无法修改读取配置，可以在DataFrame层面批量替换所有列或指定列中的'NULL'字符串为NULL值。

Python 示例： #

from pyspark.sql.functions import col, when

# 替换所有列中的'NULL'为NULL
df = df.select([
    when(col(column) == 'NULL', None).otherwise(col(column)).alias(column)
    for column in df.columns
])

# 仅替换特定列（如`email`和`phone`）
df = df.withColumn("email", when(col("email") == 'NULL', None).otherwise(col("email")))
       .withColumn("phone", when(col("phone") == 'NULL', None).otherwise(col("phone")))

3. 上传前预处理本地CSV文件 #

如果有权限在本地处理文件，可以先把CSV中的'NULL'字符串替换为空单元格，再上传到Databricks。Spark读取空单元格时会自动识别为NULL值。

Python 本地预处理示例： #

import pandas as pd

# 读取本地CSV，将'NULL'转为NaN（对应Spark的NULL）
local_df = pd.read_csv("local_source.csv", na_values=["NULL"])
# 保存处理后的CSV，空值留空
local_df.to_csv("processed_source.csv", index=False, na_rep='')

将生成的processed_source.csv上传到Databricks即可。

4. 定义Unity Catalog外部表时指定空值规则 #

如果是通过Unity Catalog创建外部表指向存储中的CSV文件，可以在建表语句中通过SerDe属性指定空值格式，确保查询时自动转换。

SQL 示例： #

CREATE EXTERNAL TABLE my_catalog.my_schema.target_table (
  user_id INT,
  user_name STRING,
  registration_date DATE
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
WITH SERDEPROPERTIES (
  'serialization.format' = ',',
  'null.format' = 'NULL'  # 声明字符串'NULL'为NULL值
)
LOCATION 'abfss://your-container@your-storage.dfs.core.windows.net/path/to/csv-files'
TBLPROPERTIES ('skip.header.line.count'='1');  # 跳过表头行

内容的提问来源于stack exchange，提问作者SK ASIF ALI