Azure Databricks创建外部表时，将参考哪个Parquet文件的Schema？

当你使用create table if not exists <table_name> using parquet location 'abfss://...'语法创建外部表时，Databricks的Schema推断逻辑既不是随机选择单个文件，也不是单纯依据文件的新旧，而是基于采样合并的规则：

• 默认行为是从指定路径下的Parquet文件中采样一部分文件（采样范围由Spark的核心配置参数控制，比如spark.sql.files.maxPartitionBytes、spark.sql.files.openCostInBytes，这些参数决定了采样的文件数量和大小阈值）
• 对采样到的文件Schema进行合并，遵循以下兼容规则：
  • 相同字段会取所有文件中最宽泛的数据类型（例如一个文件中字段是int，另一个是long，最终Schema会用long）
  • 仅在部分文件中存在的字段，会被标记为可空（nullable）并纳入最终的Schema

需要注意的是：

• 如果采样覆盖了所有结构不同的文件，最终Schema会是所有文件结构的超集；如果采样未覆盖到某些结构特殊的文件，后续查询这些文件时可能出现数据类型不匹配、字段值为null等异常
• 你可以通过设置spark.sql.parquet.mergeSchema=true（默认已开启），确保查询阶段自动合并所有文件的Schema，但创建表时的初始Schema推断依然基于采样

建议做法 #

如果需要严格控制表的Schema，不要依赖自动推断，而是手动指定Schema，示例语法：

create table if not exists target_table (
  user_id string,
  order_amount double,
  create_time timestamp
) using parquet location 'abfss://container@storageaccount.dfs.core.windows.net/path/to/parquet';

若路径下文件结构差异较大，建议按结构分区存储，或提前统一所有Parquet文件的结构，避免后续查询出现异常。

内容的提问来源于stack exchange，提问作者Adhash