Databricks与Polybase无法解析含多边形定义CSV的解决方案咨询

针对ADF从HTTP源拉取带WKT多边形定义的CSV落盘到ADLS Gen2后，出现Polybase编码识别报错、Databricks解析行截断的问题，从自动修复文件、读取侧适配两个方向给出落地方法：

一、可自动修复该类CSV文件的方法 #

本质上Notepad++手动操作后恢复正常的核心逻辑，是修正了文件的编码标记、消除了解析器的识别歧义，完全可以自动化复现这个过程：

• ADF拷贝环节前置编码强制转换：在ADF管道里不要用默认的“自动探测编码”模式读取HTTP源文件，在Sink配置中显式指定输出编码为utf-8，写入ADLS Gen2的文件直接带正确的UTF-8编码标记，落盘就能被下游组件正常识别，不需要后续手动用Notepad++修改。
• ADLS Gen2侧定时批量修复任务：针对已经落盘的异常文件，配置Azure函数定时触发批处理：读取文件原始二进制内容，自动剥离无效前导字节、补全缺失的UTF-8字节序标记，统一按标准UTF-8格式重写覆盖原文件，处理完的文件可直接被Polybase正常读取。
• Polybase读取侧显式指定编码适配：创建外部表时，在CSV格式定义中强制指定'encoding'='UTF8'，关闭自动编码探测逻辑，就算文件没有UTF-8字节标记，Polybase也会按UTF-8规则解析，完全不需要预先修改原文件内容。

二、无需预先修复文件的Databricks DataFrame配置方案 #

当前Databricks解析截断的核心原因，是默认CSV解析器把多边形WKT内容里的逗号误判成了字段分隔符，遇到引号配对不完整的场景就提前截断行（和实际遇到的截断点完全匹配，截断位置正好在WKT内容的第一个逗号处），通过调整解析参数就能实现完整读取：

• 所有解析参数显式指定，关闭自动推断逻辑，关键配置项包括：
  • 显式指定分隔符为|，覆盖默认的逗号分隔规则
  • 配置双引号为字段包裹的识别标记，设置双引号为内部转义字符，匹配文件里的字段包裹格式
  • 开启跨行内容兼容开关，避免字段内包含换行、特殊符号时被截断
  • 强制指定编码为UTF-8，关闭自动编码探测
• 可直接运行的代码配置示例：

df = spark.read.format("csv") \
  .option("sep", "|") \
  .option("quote", "\"") \
  .option("escape", "\"") \
  .option("encoding", "UTF-8") \
  .option("multiLine", "true") \
  .option("header", "false") \
  .load("abfss://<your-container>@<your-storage-account>.dfs.core.windows.net/<your-file-path>")

• 兜底方案：如果上述配置仍存在截断，说明文件存在引号配对缺失的问题，可先用纯文本模式读取完整文件内容，跳过CSV结构化解析，拿到无截断的整行原始文本后，再基于自定义分隔规则拆分字段：

# 纯文本模式读取，完全跳过CSV解析逻辑，不会出现行截断
raw_text_df = spark.read.text("abfss://<your-container>@<your-storage-account>.dfs.core.windows.net/<your-file-path>")

内容的提问来源于stack exchange，提问作者Kenny_I