Databricks中Spark如何解析含多个双引号的CSV字段?
Databricks Spark CSV 多双引号字段解析规则说明
你使用的默认读取代码如下:
csvwithquotes = spark.read.format("csv") \ .option("header","true") \ .load("file_path")
核心默认解析规则
Spark CSV 数据源默认的关键配置和解析逻辑如下:
quote参数默认值为",仅当该字符出现在字段的起始位置时,会触发引用字段解析模式escape参数默认值为\,只有被反斜杠转义的特殊字符才会被识别为普通字符,双引号本身不会被默认识别为转义字符- 解析器进入引用字段模式后,会持续读取内容,直到遇到下一个未被
\转义的"就会退出引用模式,后续遇到的逗号会被直接识别为字段分隔符
测试场景解析
场景1:输入为 "Hello, World"
- 字段起始位置第一个字符为
",触发引用模式 - 后续读取到的
Hello, World全程没有遇到未转义的",直到字段末尾的" - 末尾的
"被识别为引用结束标识,整个Hello, World被完整识别为单个字段,和你观测到的输出结果一致
场景2:输入为 """Hello,World"""
- 字段起始位置第一个字符为
",触发引用模式 - 第二个字符为
",没有被\转义,被识别为引用结束标识,退出引用模式,此时已读取的字段内容为空 - 后续的第三个
"和Hello都属于普通字符,直接追加到当前字段值中,此时当前字段值为"""Hello - 接下来遇到逗号
,,当前处于非引用模式,逗号被识别为字段分隔符,将"""Hello作为第一列的值 - 分隔符后的
World"""被识别为第二列的值,和你观测到的拆分结果完全一致
适配多双引号场景适配方案
如果需要让双引号作为双引号自身的转义字符,只需要在读取CSV时显式指定escape参数为双引号即可:
csvwithquotes = spark.read.format("csv") \ .option("header","true") \ .option("escape", "\"") \ .load("file_path")
该配置下,引用字段内的连续双引号会被识别为普通双引号,不会提前退出引用模式,字段内部的逗号也不会被识别为分隔符。
内容的提问来源于stack exchange,提问作者Shreyansh
相关产品推荐
相关产品推荐

