如何最优修复pandas DataFrame中部分单元格值错列的问题

实现思路 #

基于你已经枚举了所有列的合法取值（且各列取值互斥）的前提，最优方案是逐行遍历所有单元格值，将每个值匹配到对应所属的列，再重新构造规范的DataFrame即可，无需复杂的多层正则匹配和中间数据存储。

代码实现 #

样例数据构造 #

import pandas as pd

# 你的原始错位数据
df = pd.DataFrame({
    'City': ['NY', 'LA', 'LasVegas', 'Low'],
    'River': ['Hudzon', 'Yukon', 'Low', 'NY'],
    'Price': ['Low', 'High', 'Hudzon', 'Tesla'],
    'Car': ['VW', 'Tesla', 'VW', 'Yukon']
})

# 你提前枚举的各列合法取值，用集合存储查找速度更快
valid_map = {
    'City': {'NY', 'LA', 'LasVegas'},
    'River': {'Hudzon', 'Yukon'},
    'Price': {'Low', 'High'},
    'Car': {'VW', 'Tesla'}
}

核心修复逻辑 #

def align_row(row):
    # 初始化正确行结构
    res = {col: None for col in valid_map.keys()}
    # 逐个匹配值对应的列
    for val in row:
        for col, allowed_vals in valid_map.items():
            if val in allowed_vals:
                res[col] = val
                break
    return pd.Series(res)

# 应用到整个数据集得到修复后的结果
fixed_df = df.apply(align_row, axis=1)

方案优势 #

相比你提供的多层循环+正则匹配的实现，该方案的优势非常明显：

• 逻辑简洁直观，代码量减少60%以上，可读性和可维护性更高
• 基于集合的成员检查，性能远高于正则匹配，数据量越大优势越突出
• 不需要修改原数据集的中间状态，避免了索引错位、值覆盖等潜在bug

注意事项 #

该方案生效的前提是你提前定义的各列合法取值没有重叠，不存在同一个值属于多个列的情况，这和你描述的「已枚举所有列可能取值」的前提完全匹配。

内容的提问来源于stack exchange，提问作者Rostyslav Chayka