Azure Databricks中Parquet与Delta格式选择及写入相关问题

1. 如何选择Delta和Parquet格式进行数据写入？ #

根据业务需求和后续操作场景判断：

• 选Parquet的场景：如果仅需要基础列式存储、对存储成本敏感，且Bronze层只做批量写入读取，不需要更新、删除、版本回溯这类复杂操作，Parquet足够满足需求。它是通用开源格式，和其他大数据工具兼容性良好。
• 选Delta的场景：如果Bronze层需要ACID事务保障、支持并发写入、数据更新/删除，或者要保留数据历史版本用于回溯，必须用Delta。Delta是基于Parquet的增强格式，自带事务日志，在Databricks生态中集成度更高，后续往Silver/Gold层的数据流转也更顺畅。

2. 是否需要指定overwrite模式，该模式是否为默认写入模式？ #

• 默认写入模式是append，即目标路径已有数据时，新数据会直接追加，不会覆盖原有内容。
• 是否使用overwrite取决于业务逻辑：
  • 如果每次处理后要生成完整的Bronze层数据、替换旧数据，必须显式指定mode("overwrite")，示例代码：

    df.write.format("delta").mode("overwrite").save("/path/to/output")
    

  • 如果是增量加载新数据到Bronze层，用默认的append模式即可，无需额外指定。

3. 若将数据存储至Silver层，选择Parquet还是Delta格式更合适？ #

优先选择Delta格式。Silver层是经过清洗、转换的中间层，通常需要以下能力：

• 支持数据更新、删除（比如修正脏数据、去重）；
• 事务保障，避免数据处理过程中出现不一致；
• 版本回溯，方便验证清洗逻辑的正确性；
• 支持并发读写操作。
  Delta完全覆盖这些需求，而Parquet仅能支持批量写入，无法直接完成上述操作。此外，Delta的Z-Ordering、数据跳过等优化功能，还能提升Silver层数据的查询效率，为后续Gold层的处理打下更好的基础。

内容的提问来源于stack exchange，提问作者variable