Pandas读取含 、:、;多分隔符文件报错，求解决方案

为什么会触发ParserError？ #

你的报错主要有两个核心原因：

1. 数据列数不均匀：你的文件每行结构是「用户ID + 用分号分隔的N个键值对」，如果直接用\t|:|;作为分隔符拆分，不同行拆分后的列数完全不一样——比如用户1000000会拆出9个字段，而用户1000001只会拆出3个字段。Pandas的read_csv默认要求所有行的列数一致，这种不一致会直接触发解析错误。
2. 正则分隔符的引号处理冲突：当使用engine='python'和正则表达式作为分隔符时，Pandas会忽略默认的引号处理逻辑（比如quotechar参数），即使你的数据里没有引号，底层的解析逻辑也会因为这个规则冲突抛出提示性错误。

读取这类多分隔符非均匀数据的最佳方法 #

不要试图一次性用多分隔符拆分整个行，而是分两步处理：先拆分用户ID和键值对整体，再单独解析每个键值对。这里提供两种实用方案：

方案一：利用Pandas字符串方法分步解析

这种方法简洁高效，适合大多数场景：

import pandas as pd

# 第一步：先按制表符读取，得到用户ID和对应的键值对字符串
df = pd.read_csv("user_key_word.txt", sep='\t', header=None, names=['user_id', 'key_values'])

# 第二步：拆分键值对字符串为列表，并展开成多行（每个键值对单独一行）
df['key_values'] = df['key_values'].str.split(';')
df_exploded = df.explode('key_values')

# 第三步：拆分每个键值对为key和value，并转换数值类型
df_exploded[['key', 'value']] = df_exploded['key_values'].str.split(':', expand=True)
df_exploded['value'] = df_exploded['value'].astype(float)

# 清理冗余列（可选）
df_exploded = df_exploded.drop('key_values', axis=1)

最终得到的df_exploded是长格式的DataFrame，每行对应一个用户的一个关键词-权重记录，非常适合后续的统计分析。如果需要宽格式（每个关键词作为一列），可以再用pivot转换：

df_wide = df_exploded.pivot(index='user_id', columns='key', values='value').fillna(0)

方案二：自定义逐行解析函数

如果你的数据有更复杂的格式（比如存在空值、异常行），手动逐行解析会更灵活：

import pandas as pd

data_records = []
with open("user_key_word.txt", 'r', encoding='utf-8') as f:
    for line_num, line in enumerate(f, 1):
        line = line.strip()
        if not line:
            continue
        try:
            # 拆分用户ID和键值对部分
            user_id, key_value_str = line.split('\t')
            # 拆分每个键值对
            for kv_pair in key_value_str.split(';'):
                key, value = kv_pair.split(':')
                data_records.append({
                    'user_id': user_id,
                    'key': key,
                    'value': float(value)
                })
        except Exception as e:
            print(f"解析第{line_num}行出错: {line}, 错误信息: {e}")

df = pd.DataFrame(data_records)

这种方法可以方便地添加异常处理，避免个别坏行导致整个解析失败。

内容的提问来源于stack exchange，提问作者user77005