You need to enable JavaScript to run this app. Databricks中Spark如何解析含多个双引号的CSV字段?
优惠活动
大模型
产品
解决方案
定价
更多

Databricks中Spark如何解析含多个双引号的CSV字段?

Databricks Spark CSV 多双引号字段解析规则说明

你使用的默认读取代码如下:

csvwithquotes = spark.read.format("csv") \        
.option("header","true") \
.load("file_path")

核心默认解析规则

Spark CSV 数据源默认的关键配置和解析逻辑如下:

  • quote 参数默认值为 ",仅当该字符出现在字段的起始位置时,会触发引用字段解析模式
  • escape 参数默认值为 \,只有被反斜杠转义的特殊字符才会被识别为普通字符,双引号本身不会被默认识别为转义字符
  • 解析器进入引用字段模式后,会持续读取内容,直到遇到下一个未被 \ 转义的 " 就会退出引用模式,后续遇到的逗号会被直接识别为字段分隔符

测试场景解析

场景1:输入为 "Hello, World"

  • 字段起始位置第一个字符为 ",触发引用模式
  • 后续读取到的 Hello, World 全程没有遇到未转义的 ",直到字段末尾的 "
  • 末尾的 " 被识别为引用结束标识,整个 Hello, World 被完整识别为单个字段,和你观测到的输出结果一致

场景2:输入为 """Hello,World"""

  • 字段起始位置第一个字符为 ",触发引用模式
  • 第二个字符为 ",没有被 \ 转义,被识别为引用结束标识,退出引用模式,此时已读取的字段内容为空
  • 后续的第三个 " 和 Hello 都属于普通字符,直接追加到当前字段值中,此时当前字段值为 """Hello
  • 接下来遇到逗号 ,,当前处于非引用模式,逗号被识别为字段分隔符,将 """Hello 作为第一列的值
  • 分隔符后的 World""" 被识别为第二列的值,和你观测到的拆分结果完全一致

适配多双引号场景适配方案

如果需要让双引号作为双引号自身的转义字符,只需要在读取CSV时显式指定escape参数为双引号即可:

csvwithquotes = spark.read.format("csv") \        
.option("header","true") \
.option("escape", "\"") \
.load("file_path")

该配置下,引用字段内的连续双引号会被识别为普通双引号,不会提前退出引用模式,字段内部的逗号也不会被识别为分隔符。

内容的提问来源于stack exchange,提问作者Shreyansh

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.21 17:27:04