Python pandas处理CSV文件含多分隔符列的结构化拆分问题

实现方案（全向量化操作，无显式循环，适合大数据量场景） #

核心思路是用Pandas内置的字符串处理函数和行展开功能，全程避免Python层的循环遍历，所有操作都在Pandas底层的C实现中完成，处理效率远高于循环遍历方案。

完整代码 #

import pandas as pd

# 构造示例数据（实际使用时替换为pd.read_csv读取你的CSV文件即可）
df = pd.DataFrame({
    'Col1':['A','AA'], 
    'Col2':['B', 'BB'], 
    'X&Y':['20200331/1D::::1:2;20200401/2D::::3:4;20200402/3D::::5:6',
           '20210330/1Y::::11:22;20220330/2Y::::33:44;20230330/3Y::::55:66']
})

# 步骤1：按主分隔符;拆分X&Y列，展开为多行单条记录
df = df.assign(day_item=df['X&Y'].str.split(';')).explode('day_item', ignore_index=True)

# 步骤2：拆分单日记录获取各字段
# 2.1 按二级分隔符:拆分单日记录
day_split = df['day_item'].str.split(':', expand=True)
# 取最后两列作为X、Y
df[['X', 'Y']] = day_split.iloc[:, [-2, -1]]
# 取第一部分拆分日期和日历标识
date_part = day_split[0].str.split('/', expand=True)
df[['Date', 'CalendarValue']] = date_part

# 步骤3：保留需要的字段，输出结果
result = df[['Col1', 'Col2', 'Date', 'CalendarValue', 'X', 'Y']]
print(result)

输出验证 #

运行后得到的结果和预期完全一致：

超大数据量优化建议 #

如果处理的CSV文件体积特别大，可通过以下方式进一步提升效率：

• 读取CSV时仅指定需要的列，避免加载无用字段：pd.read_csv('your_file.csv', usecols=['Col1', 'Col2', 'X&Y'])
• 若内存不足以一次性加载全量数据，可以设置chunksize参数分块处理，每块执行上述逻辑后追加写入结果文件即可

内容的提问来源于stack exchange，提问作者FOS5252