基于ELT方法论的Medallion架构：S3分层桶数据加载咨询

• 优先保留原始格式文件到Bronze桶
  Bronze层的核心定位是留存未经任何修改的原始数据源快照，这是数据可追溯、故障恢复的核心基础。不管后续做多少层转换，原始数据是唯一的“事实来源”——比如源系统格式变更、之前的转换逻辑出错时，你需要从最原始的状态重新启动处理流程。直接上传原始格式（CSV、JSON、XML、数据库导出文件等），不需要做任何Schema解析或格式转换，抽取过程更轻量，还能避免提前解析可能带来的隐性数据丢失（比如全字符串Schema虽然安全，但如果后续发现源字段有特殊类型，原始文件能帮你完整回溯）。

• Parquet格式存入Bronze的适用场景
  如果你的后续ELT流程高度依赖Parquet的列式存储优势（更快的查询速度、更高的压缩率），可以考虑在Bronze层同时存储原始格式+Parquet格式；或者单独存Parquet，但前提是你已经通过全字符串Schema完成了安全读取——这里要注意：全字符串Schema读取后转Parquet，本质是对原始数据的“无损转换”，但必须记录转换的元数据（比如读取时的Schema、转换时间、使用的工具版本等），确保转换过程可重复验证。不过这种方式会增加存储成本和抽取阶段的耗时，更适合原始格式解析难度高、但下游需要频繁查询Bronze层数据的场景。

• 是否需要两者兼顾？
  如果预算和存储资源允许，兼顾是最优选择：原始格式用于数据溯源和合规审计，Parquet格式用于下游快速访问。如果资源有限，优先保留原始格式——因为Parquet可以随时从原始数据重新生成，但原始数据一旦丢失就无法恢复。

• 若选择转Parquet，是否需要另行存储原始格式？
  必须存储。哪怕你用全字符串Schema确保转换过程没有数据丢失，原始格式仍然是唯一能证明数据真实性的依据。比如后续遇到审计要求、合规检查，或者发现转换逻辑存在隐藏bug（比如某些特殊字符在转Parquet时被意外处理），原始文件是唯一的纠错基准。

内容的提问来源于stack exchange，提问作者Ilya Timchuk