如何从含多余字符的文件中正确加载数据至Pandas DataFrame？

嘿，这个问题我之前处理过！这种不小心给每行加了多余方括号的情况，确实会让Pandas的常规读取方法报错，不过有几个简单又可靠的方案可以解决，我给你详细说说：

方法1：先清理每行内容，再用Pandas读取 #

这是最直观的思路——先把每行首尾的[和]去掉，再让Pandas按正常的CSV格式解析：

import pandas as pd
from io import StringIO

# 读取文件并逐行清理方括号
with open('your_data.txt', 'r', encoding='utf-8') as f:
    cleaned_content = '\n'.join([line.strip().strip('[]') for line in f])

# 把清理后的内容转为可读取的对象，再用read_csv加载
df = pd.read_csv(
    StringIO(cleaned_content),
    quotechar='"',  # 识别双引号包裹的字符串
    sep=', ',       # 指定分隔符为逗号加空格
    skipinitialspace=True
)

这个方法的好处是保留了Pandasread_csv的所有特性，比如自动处理列名、数据类型推断等。

方法2：用Python标准库csv模块先解析，再转DataFrame #

如果你的消息内容里可能包含逗号（比如["User", "Hi, there!"]），上面的方法可能会拆分出错，这时候用标准库的csv模块更可靠，它能正确识别双引号内部的内容：

import pandas as pd
import csv

parsed_data = []
with open('your_data.txt', 'r', encoding='utf-8') as f:
    for line in f:
        # 去掉首尾方括号，得到干净的一行内容
        cleaned_line = line.strip().strip('[]')
        # 用csv.reader解析这一行，自动处理双引号包裹的内容
        row = next(csv.reader([cleaned_line], quotechar='"', skipinitialspace=True))
        parsed_data.append(row)

# 转成DataFrame，第一行作为列名
df = pd.DataFrame(parsed_data[1:], columns=parsed_data[0])

这个方案兼容性最强，不管消息里有没有特殊字符都能正确解析。

方法3：一行式快速处理（适合简单场景） #

如果你的数据格式很规整，没有特殊字符，也可以用Pandas的字符串处理能力快速搞定：

import pandas as pd

# 按行读取文件，清理方括号后拆分列
df = (pd.read_table('your_data.txt', sep='\n', header=None)
      .iloc[:, 0]
      .str.strip('[]')
      .str.split(', ', expand=True))

# 设置列名并去除表头行
df.columns = df.iloc[0]
df = df.drop(0).reset_index(drop=True)

这个方法代码简洁，适合快速验证数据。

不管用哪种方法，处理后你就能得到正常的DataFrame，再也不会出现拆分错误啦！

内容的提问来源于stack exchange，提问作者Sahra Levre