使用Pandas读取txt数据集时列分割失败及编码问题求助

你遇到的两个核心问题：指定分号分隔符后仍只读出单列，以及UTF-8编码解码失败，再加上文件太大没法用Excel处理，我给你整理了针对性的解决方案：

1. 修复分隔符不生效的问题 #

首先得确认文件里的分隔符是不是标准分号——有时候数据里的分号可能跟着空格（比如; ），或者存在被引号包裹的转义分号，导致Pandas识别失败。

• 先检查文件原始内容：用Python打印前几行，确认分隔符和列结构：

  with open(path, encoding="latin1") as f:
      print("列名行：", f.readline())
      print("数据行：", f.readline())
  

  从你给出的输出看，列名和数据都是用;分隔的，但存在多余空格（比如L ; ; ;），这时候可以用正则匹配分隔符：

  df = pd.read_csv(path, sep=r'\s*;\s*', encoding="latin1", engine="python")
  

  这里r'\s*;\s*'会匹配分号前后任意数量的空格，engine="python"比默认的C引擎更灵活，能处理复杂的正则分隔符。

• 处理引号包裹的分号：如果数据里有类似"product;300MG"的内容，需要指定quotechar参数让Pandas忽略引号内的分号：

  df = pd.read_csv(path, sep=';', encoding="latin1", quotechar='"')
  

• 强制指定表头行：有时候Pandas会误判表头，你可以明确指定header=0让第一行作为列名：

  df = pd.read_csv(path, sep=';', encoding="latin1", header=0)
  

2. 解决编码错误问题 #

你遇到的utf-8无法解码字节0xe0，是因为文件里包含非UTF-8编码的字符（比如西欧语言的特殊字符，0xe0对应Latin1里的à）。你已经用的latin1（和iso-8859-1等价）是个很好的选择——它能解码所有字节，不会抛出编码错误。如果后续需要转成UTF-8，可以在处理完后导出：

df.to_csv("output_utf8.csv", encoding="utf-8", index=False)

也可以试试cp1252编码，它是Windows常用的西欧字符编码，有时候比Latin1更适配某些文件：

df = pd.read_csv(path, sep=';', encoding="cp1252")

3. 大文件处理技巧 #

245MB的文件不算超大，但如果担心内存问题，可以用chunksize分块读取，逐块处理：

chunk_iter = pd.read_csv(path, sep=';', encoding="latin1", chunksize=10000)
# 遍历每个块处理
for chunk in chunk_iter:
    # 在这里写你的处理逻辑，比如清洗数据、导出等
    print(chunk.head())

验证结果 #

处理完后，用print(df.head())和print(df.columns)确认是否成功拆分多列，这样就能解决你的问题啦！

内容的提问来源于stack exchange，提问作者Alessandro Ceccarelli