Python 3.12 csv writer写入含JSON字段的CSV时文件完整性破坏问题求助

针对Python 3.12中csv模块处理含JSON字段的CSV导出问题，以下是几个可行的解决方案：

方案一：关闭自动引用，手动处理特殊字段转义 #

通过设置quoting=csv.QUOTE_NONE禁用csv模块的自动引号逻辑，手动处理包含分隔符、转义符或行终止符的字段，确保JSON字符串的双引号不被转义。

import csv
import json

headers = ['record_id', 'metadata', 'codes']
data = json.dumps({"test": "data"})
output = [1, data, "code1\rcode2"]

delimiter = "\t"
escape_char = "\\"
line_terminator = '\r'

def escape_field(field):
    field_str = str(field)
    # 仅当字段包含可能破坏CSV结构的字符时，手动添加引号并转义内部特殊字符
    if delimiter in field_str or escape_char in field_str or line_terminator in field_str:
        escaped = field_str.replace(escape_char, escape_char*2).replace('"', escape_char+'"')
        return f'"{escaped}"'
    return field_str

with open('data.csv', mode='w', newline='') as file:
    csv_writer = csv.writer(
        file,
        delimiter=delimiter,
        escapechar=escape_char,
        doublequote=False,
        lineterminator=line_terminator,
        quoting=csv.QUOTE_NONE
    )
    csv_writer.writerow([escape_field(h) for h in headers])
    csv_writer.writerow([escape_field(item) for item in output])

优点：完全控制CSV格式，确保JSON字段的原始格式；缺点：需要手动维护字段转义逻辑，适配所有特殊场景。

方案二：使用罕见可打印字符作为quote_char #

选择一个在所有业务数据（包括JSON和其他字段）中不会出现的罕见可打印字符作为quote_char，替代之前的不可打印字符，避免Python 3.12中csv模块直接写入控制字符的问题。

import csv
import json

headers = ['record_id', 'metadata', 'codes']
data = json.dumps({"test": "data"})
output = [1, data, "code1\rcode2"]

delimiter = "\t"
escape_char = "\\"
line_terminator = '\r'
# 选择业务数据中不会出现的罕见字符，例如§、©等
quote_char = "§"

with open('data.csv', mode='w', newline='') as file:
    csv_writer = csv.writer(
        file,
        delimiter=delimiter,
        escapechar=escape_char,
        doublequote=False,
        lineterminator=line_terminator,
        quoting=csv.QUOTE_MINIMAL,
        quotechar=quote_char
    )
    csv_writer.writerow(headers)
    csv_writer.writerow(output)

优点：修改成本极低，无需大幅调整代码；缺点：需确保所选字符不会出现在任何业务数据中，否则会破坏CSV结构。

方案三：手动拼接CSV行（应急方案） #

完全绕过csv模块，手动拼接每行内容，严格遵循CSV格式规则，确保JSON字段的完整性。

import json

headers = ['record_id', 'metadata', 'codes']
data = json.dumps({"test": "data"})
output = [1, data, "code1\rcode2"]

delimiter = "\t"
line_terminator = '\r'

def format_field(field):
    field_str = str(field)
    # 字段包含特殊字符时，用双引号包裹并转义内部双引号
    if delimiter in field_str or line_terminator in field_str or '"' in field_str:
        return f'"{field_str.replace('"', '""')}"'
    return field_str

# 生成表头和数据行
header_line = delimiter.join([format_field(h) for h in headers]) + line_terminator
data_line = delimiter.join([format_field(item) for item in output]) + line_terminator

with open('data.csv', mode='w', newline='') as file:
    file.write(header_line)
    file.write(data_line)

优点：彻底避免csv模块的兼容性问题；缺点：需自行维护CSV格式规范，数据量大时容易出错，扩展性差。

内容的提问来源于stack exchange，提问作者Alex Justiniano