Azure Databricks加载CSV日期字段为NULL问题及SQL直导方法咨询

一、RecordInsertedDate字段显示为NULL的原因 #

• CSV格式或隐藏字符问题：虽然SQL和CSV可视化显示为2023-12-31，但部分记录的日期值可能包含空格、制表符等不可见字符，或者导出时存在编码异常，导致Spark解析时无法识别为有效日期，进而标记为NULL。
• Spark Schema自动推断的局限性：启用inferSchema时，Spark会采样部分数据推断字段类型。若采样数据中该字段没有2023-12-31这类值，可能将字段推断为字符串或其他类型；后续遇到标准日期格式时，因类型不匹配无法解析，最终显示为NULL。
• CSV解析规则冲突：如果RecordInsertedDate字段周围存在未正确转义的分隔符、引号等特殊字符，会造成字段解析错位，原本的日期值被映射到其他字段，当前字段自然变为NULL。

二、直接从SQL表导入DataFrame的简便方法 #

跳过CSV中转环节，直接使用Spark JDBC连接读取SQL表是更高效可靠的方式，示例代码如下：

方法1：通用JDBC连接（适用于SQL Server/Azure SQL） #

# 配置连接参数
jdbc_url = "jdbc:sqlserver://<你的SQL服务器地址>:1433;databaseName=<目标数据库名>"
conn_props = {
    "user": "<数据库用户名>",
    "password": "<数据库密码>",
    "driver": "com.microsoft.sqlserver.jdbc.SQLServerDriver"
}

# 直接读取SQL表到DataFrame
sql_df = spark.read.jdbc(url=jdbc_url, table="<目标表名>", properties=conn_props)

# 查看数据
sql_df.display()

方法2：Azure SQL专用连接器（Databricks优化） #

如果是Azure SQL Database，可使用Databricks优化的连接器提升性能：

sql_df = spark.read \
    .format("com.databricks.spark.sqldw") \
    .option("url", "jdbc:sqlserver://<服务器地址>:1433;database=<数据库名>") \
    .option("dbtable", "<目标表名>") \
    .option("user", "<用户名>") \
    .option("password", "<密码>") \
    .load()

sql_df.display()

这种方式不仅避免了CSV中转的格式问题，还支持增量读取、分区加载等高级操作，数据一致性和传输效率更高。

内容的提问来源于stack exchange，提问作者Bharath Sena