如何用Python高效检测并修复CSV数据集的列重叠问题？

嘿，我太懂这种批量数据脏污的头疼了——大量行里的姓名后缀混进金额列，手动改根本不现实，用Python批量处理才是最优解。针对你这种场景，pandas+正则表达式的组合既高效又能覆盖绝大多数情况，完全适配大数据量的需求。

核心思路 #

问题的核心是：金额列（第三列）的内容是「姓名后缀+数字金额」的混合体，我们需要把末尾的纯数字剥离出来保留为金额，前面的文本补到姓名列（第二列）的末尾。正则表达式可以精准匹配这种“文本+数字”的结构，再配合pandas的批量处理能力，几千几万行都能快速搞定。

具体实现代码 #

先上完整可运行的代码，我再逐段解释：

import pandas as pd
import re

# 读取空格分隔的CSV文件（假设文件名为data.csv）
df = pd.read_csv('data.csv', sep='\s+', header=0)

# 定义正则：匹配「任意文本+末尾连续数字」的结构
# 拆分规则：前面的所有非数字后缀归到姓名，末尾数字保留为金额
pattern = re.compile(r'^(.*?)(\d+)$')

# 筛选出需要修正的行：金额列同时包含字母和数字的行
mask = df['Money'].str.contains(r'[a-zA-Z]+\d+', na=False)

# 批量拆分符合条件的金额列内容
split_result = df.loc[mask, 'Money'].str.extract(pattern)

# 更新姓名列和金额列
df.loc[mask, 'Name'] = df.loc[mask, 'Name'] + ' ' + split_result[0]
df.loc[mask, 'Money'] = split_result[1]

# 打印修正后的结果
print(df)

# 保存修正后的CSV文件
df.to_csv('corrected_data.csv', index=False, sep=' ')

代码细节说明 #

1. 读取数据：因为你的CSV是空格分隔的，用sep='\s+'可以自动处理多个空格的情况，避免把姓名里的空格误判为列分隔符。
2. 正则匹配：r'^(.*?)(\d+)$'会把混合内容拆成两部分——(.*?)捕获前面的文本（比如Claw300里的Claw），(\d+)$捕获末尾的连续数字（比如300）。
3. 批量处理：用pandas的str.contains快速筛选需要修正的行，再用str.extract批量拆分，最后直接更新对应列，比逐行循环效率高几十倍，完美适配大数据量场景。
4. 结果验证：运行后就能得到你预期的修正表格，还可以直接保存成新的CSV文件备用。

扩展适配 #

如果你的数据有特殊情况，只需要微调正则即可：

• 如果金额带小数点，把正则改成r'^(.*?)(\d+\.\d+)$'
• 如果姓名里包含数字，可以结合金额的数值范围（比如金额都是大于10的整数）来筛选修正行，进一步提高准确性

内容的提问来源于stack exchange，提问作者Parth Shukla