Spark CSV写入引号相关选项的差异与协同机制咨询

1. quote #

• 作用：指定包裹字段内容的字符，默认是双引号"。
• 场景：当字段包含分隔符、换行符等特殊字符时，Spark会用该字符包裹整个字段，避免解析时出现错误。
• 示例：字段值为hello,world时，默认配置下输出为"hello,world"。

2. escape #

• 作用：指定转义特殊字符的字符，默认是反斜杠\，也可设置为与quote相同的字符（如双引号）。
• 场景：当字段内容本身包含quote指定的字符时，用该字符转义，避免被误判为字段结束标记。
• 示例：若quote="\"，字段值为he"llo，设置escape="\"时输出"he\"llo"；设置escape="""时输出"he""llo"。

3. quoteAll #

• 作用：控制是否给所有字段添加引号包裹，默认值为false。
• 场景：默认仅包含特殊字符的字段会被引号包裹，开启该选项后，无论字段内容是否特殊，都会用quote指定字符括起来。
• 示例：普通字段foo会变为"foo"，带分隔符的foo,bar会变为"foo,bar"。

4. escapeQuotes #

• 作用：控制是否转义字段内容中的引号字符，默认值为true。
• 场景：若设为false，字段内的quote字符不会被转义，极易导致下游CSV解析错误，非特殊需求不建议关闭。
• 示例：字段值he"llo，开启时输出"he\"llo"，关闭时输出"he"llo"（下游解析会误判字段提前结束）。

5. charToEscapeQuoteEscaping #

• 作用：指定转义escape字符本身的字符，默认与escape字符一致。
• 场景：当escape字符出现在字段内容中时，用该字符转义它，属于小众需求场景。
• 示例：若escape="\"，字段值为he\llo，默认配置下输出"he\\llo"；若设该选项为@，则输出"he@\llo"。

这些选项是协同生效的，不存在互相覆盖的情况，各自负责CSV读写流程中的不同环节：

1. 写入CSV时，先检查quoteAll是否开启，决定是否给所有字段加引号；
2. 对需要加引号的字段，检查内容是否包含quote字符，根据escapeQuotes决定是否转义；
3. 转义时使用escape指定的字符，若escape字符本身出现在内容中，则用charToEscapeQuoteEscaping指定的字符转义。

综合示例：
配置quote="\", escape="\", quoteAll=true, escapeQuotes=true
字段值：I said "hello, world!"
最终输出："I said ""hello, world!"""

内容的提问来源于stack exchange，提问作者rainingdistros