Python无数据丢失合并多个TXT转CSV的实现异常问题咨询
问题排查与修正方案
现象本质说明
你观察到的“5个TXT文件仅2个成功整合进CSV”并非写入环节的数据丢失:
- CSV本身是纯文本格式,没有内置的单元格长度限制,只要写入逻辑未抛出异常,所有匹配到的TXT文件内容都会完整写入文件
- 出现“内容丢失”的视觉错觉,是因为Excel打开超长文本的CSV时,会自动对超过32767字符上限的单元格做截断,甚至直接跳过对应行的展示,让你误以为文件没有被写入
原代码存在的可优化问题
- 依赖
os.chdir切换全局工作目录,反复运行时容易出现路径错乱,匹配到非目标文件夹下的文件 - 写CSV文件时未指定
newline=''参数,在Windows环境下会生成多余空行 - 读取TXT内容时未对换行、特殊分隔符做清理,容易导致内容错位到CSV的其他列
- 未针对Excel的单元格长度限制做适配,超长内容在Excel中无法正常展示
适配需求的修正实现
以下代码在原有逻辑基础上做了路径鲁棒性优化、内容清洗、Excel长度适配,可直接运行:
import os import csv from pathlib import Path def txt_to_csv(folder_name: str, excel_cell_char_limit: int = 32760): # 固定根路径拼接目标文件夹,不修改全局工作目录 root_path = Path('/content/drive/MyDrive/ThesisAllocationSystem') target_folder = root_path / folder_name output_csv_path = root_path / f"{folder_name}.csv" with open(output_csv_path, 'w', encoding='Latin-1', newline='') as out_file: csv_out = csv.writer(out_file) csv_out.writerow(['FileName', 'Content']) # 匹配目标文件夹下所有TXT文件 for txt_file in target_folder.glob('*.txt'): # 二进制读取TXT内容,解码时忽略异常字符 with open(txt_file.absolute(), 'rb') as f: raw_content = f.read().decode(encoding='Latin-1', errors='ignore') # 清理所有换行、连续空格,避免CSV列错位 cleaned_content = ' '.join(raw_content.split()) # 适配Excel单元格长度限制,超长自动截断并增加提示 if len(cleaned_content) > excel_cell_char_limit: cleaned_content = cleaned_content[:excel_cell_char_limit] + "[内容超长已截断,完整内容保留在纯文本CSV文件中]" csv_out.writerow([txt_file.name, cleaned_content]) # 执行生成目标CSV txt_to_csv('data_replication')
使用提示
- 如果仅需用CSV做后续程序数据处理,不需要用Excel打开,可删除长度截断逻辑,完整保留所有长文本内容,纯文本CSV无长度上限
- 验证写入完整性时,请用记事本、VS Code等纯文本编辑器打开生成的CSV,不要直接用Excel打开验证
内容的提问来源于stack exchange,提问作者blue-create
相关产品推荐
相关产品推荐

