Databricks中UNKNOWN_FIELD_EXCEPTION.NEW_FIELDS_IN_FILE错误成因排查

根据你的代码和Databricks流处理机制，这个错误的可能原因如下：

• 读阶段Schema自动演进未正确触发：
  你使用了cloudFiles.schemaLocation持久化schema，但新CSV文件新增字段时，CloudFiles的schema推断逻辑可能未自动更新已存储的旧schema。写入阶段的mergeSchema和overwriteSchema仅针对目标表生效，不影响读阶段对源文件的解析，若读阶段仍沿用旧schema，就会把新字段识别为未知字段。

• Schema Location中历史schema与新文件冲突：
  如果之前的schema是手动定义或早期推断后固化的，且未开启允许新增字段的配置，新文件带额外字段时会触发错误。默认CloudFiles允许新增字段，但如果schema location中存储的schema被标记为"严格模式"，就会拒绝识别新字段。

• 同一微批次混合新旧schema的文件：
  availableNow=True触发的微批次可能同时包含旧字段CSV和新增字段CSV。CloudFiles在单个微批次内无法动态调整schema，导致解析时字段不匹配，抛出未知字段异常。

• set_safe_column_names函数导致列名不匹配：
  该函数可能对原始列名做了修改（如转小写、替换特殊字符），但新文件的字段名未经过相同处理，或处理后的列名与新字段名不匹配，导致解析时被判定为未知字段。

• 读阶段缺少Schema演进配置：
  若未显式设置cloudFiles.schemaEvolutionMode为addNewColumns（默认值），或设置cloudFiles.inferSchema=false抑制了schema推断，读阶段无法识别新字段，进而触发错误。

内容的提问来源于stack exchange，提问作者Ariel Moraes