boto3上传查询结果为CSV到S3时含逗号字段拆分多列问题问询

你当前手动用,拼接每行数据的逻辑没有遵循CSV标准规范：CSV中如果字段本身包含分隔符（逗号）、换行符、双引号这类特殊字符，需要用双引号将整个字段包裹，否则读取CSV时会识别错误，将单个字段拆分为多列。

直接使用Python标准库自带的csv模块处理CSV生成逻辑，无需自己编写拼接代码，模块会自动处理所有特殊字符的转义逻辑，兼容性更好。

修改后代码示例 #

import io
import csv
# 你原有代码里的其他导入（比如boto3、datetime等）保持不变

# 初始化内存IO和CSV写入器
file = io.StringIO()
# quoting参数默认是csv.QUOTE_MINIMAL，仅当字段含特殊字符时才自动加双引号包裹
csv_writer = csv.writer(file, delimiter=',', quoting=csv.QUOTE_MINIMAL)

cur.execute(query)
results = cur.fetchall()
# 直接批量写入所有行，无需手动循环拼接
csv_writer.writerows(results)

# S3上传逻辑和原有代码保持一致
object = s3Client.Object(bucketName, f'{fileName}.csv')
result = object.put(Body=file.getvalue())

• 如果需要所有字段都统一加双引号包裹，可以将quoting参数改为csv.QUOTE_ALL
• 如果字段本身包含双引号，csv模块会自动将其转义为两个连续双引号，符合CSV标准
• 无需额外处理None值、日期类型的转换，模块会自动按字符串规则处理输出

内容的提问来源于stack exchange，提问作者Sridhar Chilukuri