Databricks写入JDBC后DataFrame内容丢失问题咨询

现象回顾 #

• 写入JDBC前，scan_df_new有3条有效数据，执行代码验证正常：

  print(f"{file_name} Before insert count", datetime.datetime.now(), scan_df_new.count())
  scan_df_new.show()
  

  输出显示计数为3，数据完整。
• 执行JDBC写入操作后，再次检查scan_df_new发现数据丢失：

  scan_df_new.write.format("jdbc").option("url", jdbcUrl).option("dbtable", scan_table).mode("append").save()
  
  print(f"{file_name} After insert count", datetime.datetime.now(), scan_df_new.count())
  scan_df_new.show()
  

  输出显示计数为0，DataFrame为空。

原因说明 #

这不是Databricks近期更新导致的问题，核心原因是Spark DataFrame的惰性计算特性，以及部分数据源的一次性读取限制：

• Spark DataFrame是惰性求值的，只有遇到count()、show()、write()等动作类操作时才会触发实际计算。
• 如果scan_df_new的数据源是一次性的（比如某些流式临时视图、特定格式的文件源），当write()操作触发计算时，数据源的迭代器会被完全消费，后续再次调用count()或show()时，没有可读取的数据，导致返回空结果。
• 之前运行正常可能是数据源实现或Spark版本的临时特性，但这种行为本身不可靠，并非Databricks更新引入的问题。

解决方案 #

1. 缓存DataFrame（推荐） #

在写入操作前缓存DataFrame，将数据持久化到内存/磁盘，后续操作直接读取缓存数据：

# 缓存DataFrame
scan_df_new.cache()
# 可选：提前触发缓存计算（write操作也会触发，此步骤可省略）
scan_df_new.count()

# 执行JDBC写入
scan_df_new.write.format("jdbc").option("url", jdbcUrl).option("dbtable", scan_table).mode("append").save()

# 后续正常使用DataFrame
print(f"{file_name} After insert count", datetime.datetime.now(), scan_df_new.count())
scan_df_new.show()

# 不再使用时释放缓存，避免资源占用
scan_df_new.unpersist()

2. 重新生成DataFrame #

如果缓存不适用，可在写入后重新从原始数据源读取生成DataFrame，但此方式效率较低，仅适合小数据量场景。

3. 检查数据源类型 #

确认scan_df_new的数据源是否支持重复读取，若为一次性数据源，建议提前将数据持久化到可靠存储（如DBFS）后再进行后续操作。

内容的提问来源于stack exchange，提问作者Krishna Puthran