使用Databricks Column Mapping创建Delta表时Azure存储出现随机文件夹的原因

这些带随机字符串的文件夹是启用Delta列映射后的正常存储结构，具体原因和作用如下：

• 适配Parquet列名规范
  Parquet文件本身不支持含空格、特殊字符的列名，当启用delta.columnMapping.mode = 'name'时，Delta会把原始CSV里带特殊字符/空格的列名映射成内部标准化的列名（比如_col0这类格式），这些随机文件夹就是用来存储对应内部列名的Parquet数据文件，确保物理层存储符合Parquet的要求。

• 维护ACID事务与列变更兼容性
  Delta Lake的ACID特性依赖事务日志管理，这些文件夹会配合日志隔离不同版本的列映射数据。后续如果修改列名（比如调整带空格的列名），不会影响旧版本的数据文件，保证读写一致性。

• 提升元数据管理效率
  即使没有设置分区，这种文件夹结构能让Delta更高效地组织和检索列映射相关的元数据，避免因原始列名不规范导致的元数据混乱。

你使用的建表语句完全符合官方要求：

CREATE TABLE delta_table
  USING DELTA
  TBLPROPERTIES ('delta.minReaderVersion' = '2',
  'delta.minWriterVersion' = '5',
  'delta.columnMapping.mode' = 'name')

这三个属性是启用列映射的必要条件，因为该特性仅在较高版本的Delta Lake中支持。

内容的提问来源于stack exchange，提问作者Nikunj Kakadiya