Spark调用saveAsTable中途报错是否回滚 事务支持相关问题

问题1：含100条记录的DataFrame执行df.saveAsTable("sometablename")时，成功写入50条后剩余数据出错，已保存的50条是否会被撤回？ #

需要结合你使用的写入配置、表存储格式、底层存储系统判断：

• 如果你使用Spark默认的非事务存储格式（普通Parquet、ORC、CSV等，未接入Delta Lake/Iceberg/Hudi等事务表方案）：
  Spark默认写入逻辑是先将所有Task的输出写入临时目录，所有Task全部执行成功后，才会将临时目录的文件移动到正式表目录，同时更新元数据。如果中途任意Task执行失败，整个写入任务终止，临时目录的写入内容会被自动清理，不会有半成功的50条数据留在目标表中。
  仅当你使用不支持原子目录重命名的底层存储（如部分低成本对象存储），或手动修改了Spark默认写入流程参数时，才可能出现残留脏数据的情况。
• 如果你使用Delta Lake、Iceberg、Hudi这类事务型表存储格式：
  写入操作本身是原子性的，要么全部成功要么全部失败，中途失败会自动回滚所有已写入的内容，不会出现部分数据入库的情况。

问题2：SQL Server有commit和rollback事务机制，Spark是否有对应事务支持？ #

原生Spark本身没有内置跨会话的强一致通用事务能力，但是存在以下可覆盖绝大多数场景的对应方案：

• 单批次写入隐式事务：默认的saveAsTable、insertInto等写入操作本身就具备单操作的原子性，等价于单语句的隐式事务，不存在部分写入的问题。
• 搭配事务存储格式的完整ACID事务：如果使用Delta Lake、Iceberg、Hudi作为表存储，Spark可以支持完整的事务能力，包括多操作的手动commit/rollback、并发读写控制、历史快照回滚等，完全可以对标SQL Server的事务能力。
• 对接JDBC数据源的事务支持：如果是用Spark对接SQL Server、MySQL等支持事务的JDBC数据源，可以通过配置spark.sql.jdbc.commitOnSuccess参数，或者手动控制JDBC连接的事务边界，实现跨操作的事务提交和回滚。

内容的提问来源于stack exchange，提问作者user2260543