如何避免调用delete_processed_data()后DataFrame变为空（Delta表场景）

Spark DataFrame不是静态的数据副本，而是惰性求值的逻辑查询计划。你从sl_fact_item_ticket创建data后，它只是记录了“读取该Delta表”的逻辑，并没有把数据加载到内存中。调用delete_processed_data()删除表中指定记录后，再次执行data.count()时，Spark会重新触发读取逻辑，自然会读到删除后的空数据——这不是data被覆写，而是它本身就动态指向数据源的最新状态。

根据你的业务场景（需要先判断原数据存在性，再执行删除操作），提供两种可行方案：

方案1：缓存原DataFrame（适合小数据量场景） #

如果原表数据量不大，可以在读取后立即缓存data，这样后续的count()等操作会基于缓存的快照执行，不受底层表修改的影响：

# 读取Delta表后立即缓存
data = spark.read.format("delta").table("sl_fact_item_ticket")
data.cache()  # 将数据缓存到内存/磁盘
data.count()  # 触发缓存执行（action操作才会真正读取数据）

# 调用删除方法
data_writer.delete_processed_data()

# 此时data.count()返回的是缓存的原数据量
if data.count() > 0:
    # 执行你的业务逻辑
    pass

# 不再需要缓存时释放资源
data.unpersist()

方案2：提前持久化原数据状态（适合大数据量场景） #

如果数据量较大，缓存占用资源过高，可以提前把原数据的关键状态（比如记录数）存入变量，或者创建临时快照表保存原数据：

方式A：提前存储原数据记录数 #

data = spark.read.format("delta").table("sl_fact_item_ticket")
original_count = data.count()  # 提前执行读取逻辑，获取原数据量

data_writer.delete_processed_data()

# 用提前存储的original_count判断原数据存在性
if original_count > 0:
    # 执行你的业务逻辑
    pass

方式B：创建原数据临时快照表 #

data = spark.read.format("delta").table("sl_fact_item_ticket")
# 创建临时Delta表保存原数据快照
data.write.format("delta").mode("overwrite").saveAsTable("temp_sl_fact_snapshot")

data_writer.delete_processed_data()

# 后续需要原数据时从临时快照读取
original_data = spark.read.format("delta").table("temp_sl_fact_snapshot")
if original_data.count() > 0:
    # 执行你的业务逻辑
    pass

# 清理临时表（可选）
spark.sql("DROP TABLE IF EXISTS temp_sl_fact_snapshot")

• Spark的action操作（如count()、show()）才会触发实际的数据读取，只要没有显式缓存/持久化，每次action都会重新执行查询逻辑，拿到数据源的最新状态。
• Delta表的delete操作是立即生效的，底层数据会被标记删除（基于MVCC机制），后续读取都会返回修改后的结果。

内容的提问来源于stack exchange，提问作者Daniel Vera