使用withColumn为Databricks DataFrame加列后，Delta表未显示新增列或无数据

问题 #

尝试通过PySpark为Databricks Delta表添加type和timestamp两个新列，代码执行后循环成功创建表，PySpark DataFrame的结构显示包含新增列，但查询目标表时出现两种异常：

1. 部分表查询返回“query returned no results”，但对应源表存在数据；
2. 部分表能查询到数据，但缺失通过withColumn添加的列。

相关代码：

for file in file_list:
  
  try:
    sql_query = create_sql_statement(file)
    df = spark.sql(sql_query) \
    .withColumn('type', F.lit('animal_type')) \
    .withColumn('timestamp', F.current_timestamp())
    df.write.format("delta").option("overwriteSchema", "true").mode("overwrite").saveAsTable(f'{database}.{table}')

  except Exception as e:
    print(e)

其中create_sql_statement生成的SQL示例为：

CREATE TABLE database.TABLE_NAME AS SELECT FIELD1, FIELD2, FIELD3, FIELD4, type, timestamp FROM DATABASE.TABLENAME

查看PySpark DataFrame结构显示包含新增列：

num_affected_rows:long
num_inserted_rows:long
type:string
timestamp:timestamp

解决方案 #

1. 核心问题：SQL语句逻辑错误 #

你在create_sql_statement生成的CREATE TABLE AS SELECT语句中，错误地将type和timestamp加入SELECT列表，试图从源表DATABASE.TABLENAME中查询这两个列，但源表本身并不存在这两个列。这会导致两种后果：

• 若源表无对应列，spark.sql(sql_query)执行时会返回空结果（或抛出错误被try-except捕获），后续saveAsTable写入空数据，对应表查询无结果；
• 若少数源表碰巧存在同名列，withColumn添加的新值会覆盖原有值，但你误以为是新增列，实际源表已有该列，导致认知偏差。

2. 修正步骤 #

方法一：修改create_sql_statement生成纯查询语句

将create_sql_statement改为只查询源表中存在的字段，去掉type和timestamp，示例改为：

SELECT FIELD1, FIELD2, FIELD3, FIELD4 FROM DATABASE.TABLENAME

后续通过withColumn添加新列后，直接写入目标表即可。

方法二：保留CREATE TABLE但移除无关列

若必须通过CREATE TABLE AS SELECT先创建表，需移除SELECT列表中的type和timestamp，示例改为：

CREATE TABLE database.TABLE_NAME AS SELECT FIELD1, FIELD2, FIELD3, FIELD4 FROM DATABASE.TABLENAME

之后再查询该表、添加列并覆盖写入。

3. 额外优化 #

• 检查try-except捕获的错误信息，确认是否有SQL执行异常被忽略；
• 若循环中table变量未随file变化，会导致多次覆盖同一个表，需确保每个file对应唯一的目标表名。

内容的提问来源于stack exchange，提问作者SunflowerParty