使用pandas concat合并多DataFrame时列被按字母重排的排查方法
多级列合并时列序被自动字母排序的排查方向
可以按照优先级逐点核对,基本能定位所有同类问题的根因:
- 核对实际合并代码和测试示例的方法差异
你的测试示例全程使用pd.concat()完成合并,但实际生产流程中是“每读入一个工作表就追加到目标DataFrame”——如果这里用的是pandas已弃用的df.append()方法,就会直接触发自动排序:旧版本pandas的df.append()默认开启sort=True,合并后会自动对列做字母序排列;而同版本下pd.concat()默认是sort=False,这也是为什么测试示例能正常保留列序、实际生产代码却出现排序的核心原因之一。
验证方式:把所有追加操作替换为显式的pd.concat([已合并结果, 新读入的工作表], sort=False),重新运行生产文件即可观察是否还会出现列序打乱的问题。 - 逐表核对多级列的匹配度
pandas的列自动排序逻辑有明确的触发条件:当所有待合并的DataFrame的列索引序列不完全等价一致时,就会自动开启sort逻辑对齐列索引。你目前的场景看起来所有表结构一致,但很可能存在肉眼难以识别的列名差异:- 某列名前后附带不可见的空格、换行符
- 同一列的名称存在大小写细微差异(比如
Total和total) - 某工作表的多级列因为读取时遇到空表头单元格,被pandas自动生成
Unnamed: x_level_y的临时列名,和其他表的对应列名不匹配 - 列的先后顺序存在细微错位(比如A表列顺序是(('收入','成本'),('利润','其他')),B表是(('利润','其他'),('收入','成本')),就算所有列名完全包含,因为索引序列本身顺序不对,也会触发自动排序)
验证方式:提前把第一张工作表的列顺序存为基准列表,每读入一张新表就打印判定结果list(新表.columns) == list(基准列),只要有一个表的判定为False,就说明存在列名不匹配的问题,自然会触发自动排序。
- 核对运行环境的pandas版本差异
不同pandas版本对concat的排序默认逻辑做过多次调整:- pandas 1.3版本之前,concat的
sort参数默认值为None,会在列不完全匹配时自动排序并抛出FutureWarning - pandas 2.0版本开始,当待合并对象的列索引不完全对齐时,默认行为从“抛出警告”变为“强制按字母序对齐列”
如果你跑测试示例的环境和跑生产文件的环境pandas版本不一致,很可能测试环境的版本刚好没有触发这个排序分支,导致问题无法复现。
- pandas 1.3版本之前,concat的
- 检查Excel读取参数的一致性
因为你的表是2层级多级列结构,读取时必然配置了header=[0,1]这类参数,需要核对每张工作表的读取参数是否完全一致——如果某张表因为存在空的合并单元格、表头缩进,导致pandas读取时生成的列名序列和其他表不匹配,最终就会触发排序逻辑。
通用规避方法:不管是什么原因触发的自动排序,只要在所有合并操作中显式添加
sort=False参数,就能强制pandas保留最早出现的列顺序,不会自动做字母排序,这个参数在所有兼容多级列的pandas版本中都支持,不受版本差异影响。
内容的提问来源于stack exchange,提问作者Philippe
相关产品推荐
相关产品推荐

