You need to enable JavaScript to run this app. Python无数据丢失合并多个TXT转CSV的实现异常问题咨询
优惠活动
大模型
产品
解决方案
定价
更多

Python无数据丢失合并多个TXT转CSV的实现异常问题咨询

问题排查与修正方案

现象本质说明

你观察到的“5个TXT文件仅2个成功整合进CSV”并非写入环节的数据丢失:

  • CSV本身是纯文本格式,没有内置的单元格长度限制,只要写入逻辑未抛出异常,所有匹配到的TXT文件内容都会完整写入文件
  • 出现“内容丢失”的视觉错觉,是因为Excel打开超长文本的CSV时,会自动对超过32767字符上限的单元格做截断,甚至直接跳过对应行的展示,让你误以为文件没有被写入

原代码存在的可优化问题

  • 依赖os.chdir切换全局工作目录,反复运行时容易出现路径错乱,匹配到非目标文件夹下的文件
  • 写CSV文件时未指定newline=''参数,在Windows环境下会生成多余空行
  • 读取TXT内容时未对换行、特殊分隔符做清理,容易导致内容错位到CSV的其他列
  • 未针对Excel的单元格长度限制做适配,超长内容在Excel中无法正常展示

适配需求的修正实现

以下代码在原有逻辑基础上做了路径鲁棒性优化、内容清洗、Excel长度适配,可直接运行:

import os
import csv
from pathlib import Path

def txt_to_csv(folder_name: str, excel_cell_char_limit: int = 32760):
    # 固定根路径拼接目标文件夹,不修改全局工作目录
    root_path = Path('/content/drive/MyDrive/ThesisAllocationSystem')
    target_folder = root_path / folder_name
    output_csv_path = root_path / f"{folder_name}.csv"

    with open(output_csv_path, 'w', encoding='Latin-1', newline='') as out_file:
        csv_out = csv.writer(out_file)
        csv_out.writerow(['FileName', 'Content'])
        # 匹配目标文件夹下所有TXT文件
        for txt_file in target_folder.glob('*.txt'):
            # 二进制读取TXT内容,解码时忽略异常字符
            with open(txt_file.absolute(), 'rb') as f:
                raw_content = f.read().decode(encoding='Latin-1', errors='ignore')
            # 清理所有换行、连续空格,避免CSV列错位
            cleaned_content = ' '.join(raw_content.split())
            # 适配Excel单元格长度限制,超长自动截断并增加提示
            if len(cleaned_content) > excel_cell_char_limit:
                cleaned_content = cleaned_content[:excel_cell_char_limit] + "[内容超长已截断,完整内容保留在纯文本CSV文件中]"
            csv_out.writerow([txt_file.name, cleaned_content])

# 执行生成目标CSV
txt_to_csv('data_replication')

使用提示

  • 如果仅需用CSV做后续程序数据处理,不需要用Excel打开,可删除长度截断逻辑,完整保留所有长文本内容,纯文本CSV无长度上限
  • 验证写入完整性时,请用记事本、VS Code等纯文本编辑器打开生成的CSV,不要直接用Excel打开验证

内容的提问来源于stack exchange,提问作者blue-create

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.28 16:54:04