如何解决6GB大、逗号为分隔符且含逗号小数位的CSV导入列拆分问题
6GB大体积CSV逗号小数位问题的实操解决办法
全程逐行流式读写,不需要打开全文件、不需要占大内存,完全避开已知限制。
前置核对步骤
- 先读文件最开头的表头行,数清楚CSV固定的合法列总数,记为N。因为其他带逗号的字符串列都是用标准双引号做转义的,用通用CSV解析器拆分时不会把这部分的逗号误判为列分隔符。
- 抽10-20行已经出现拆分异常的行做校验,确认两个固定规律:
- 所有异常行用标准CSV解析器拆分后,字段数稳定为N+1,不会出现更多多余拆分
- 多出来的拆分点位置是固定的:也就是被拆成两个值的小数列,永远出现在相邻的两个固定索引位置,不会随机漂移。
举个直观的例子:
已知合法列数N=3,对应表头是订单号, 用户备注, 商品价格
某行的原始内容是1001, "老客户, 需要开发票", 15,4
因为价格列没加引号,把小数位的逗号当成了列分隔符,用标准CSV解析器拆分后得到的字段是:['1001', '老客户, 需要开发票', '15', '4']
这行的字段数是4,比N=3多1,异常拆分点就在索引2和3的位置,拼起来就能还原原本的小数15.4。
具体处理流程
全程只读原文件,所有处理后的内容写入全新的输出文件,不修改原始6GB文件。用支持逐行流式读写的工具完成处理(Python内置csv模块、pandas分块读取、带CSV语法解析的命令行工具都可以),全程内存只保留当前处理的一行内容,哪怕文件10GB也不会触发内存溢出:
- 循环逐行读取CSV内容
- 对每行做标准CSV解析(自动识别双引号包裹的字符串,不会拆碎带逗号的合法文本内容)
- 根据解析后的字段数分情况处理:
- 如果字段数等于N:直接按原格式写入输出文件,不做任何修改
- 如果字段数等于N+1:找到提前确认好的异常拆分位置,把相邻两个拆分出来的数值段拼接,中间的分隔逗号替换成小数点,再把后面的字段整体前移一位,凑齐N个合法列的字段后写入输出文件
- 如果字段数既不是N也不是N+1:单独把这行存到异常日志文件,后续人工核对,不直接丢弃
方案适配性说明
这个方案完全满足所有约束条件:
- 不需要全文件替换逗号:只对固定位置、异常拆分出来的小数段做替换,字符串列里的逗号全程被识别为正文内容,不会被改动
- 不需要手动打开大文件加临时表头:流式处理阶段就直接把拆分的小数列拼回正确位置,不需要后续再额外删列、拼接,省掉多余操作
- 不会因为文件太大卡住:逐行读写的模式下内存占用基本稳定在几MB,普通办公电脑就能跑完全程
常见踩坑提醒
- 不要自己写硬切逗号的拆分逻辑:会把双引号里带逗号的合法字符串拆得七零八落,必须用内置的标准CSV语法解析器做字段拆分
- 不要试图把整个文件读进内存再处理:6GB的文件全读进内存大概率会触发内存溢出,逐行处理是最稳妥的方式
- 处理前可以先备份原文件,避免输出流程出错损坏原始数据
补充:如果抽样本时发现部分异常行的拆分位置不固定,说明生成文件的脚本还有其他非规范写法,这时候可以再抽多一点样本,确认是不是有其他列也存在无引号写带逗号数值的情况,对应调整位置判断规则即可。
内容的提问来源于stack exchange,提问作者marc
相关产品推荐
相关产品推荐

