合并前两行为多级表头时Pandas读取数据丢失问题排查

你用pd.read_table()时，默认分隔符是制表符（\t），但你的文本文件是用多个空格分隔内容的。当指定header=[0,1]生成多级表头时，pandas无法正确识别数据列的分隔位置，导致所有数据列被误判为缺失值，最终显示为空。

核心是让pandas正确识别空白分隔符，以下两种方案都可行：

方案1：改用pd.read_csv()并指定空白分隔符 #

pd.read_csv()可以通过sep='\s+'匹配任意数量的空白字符（包括多个空格、制表符等），完美适配你的文件格式：

import pandas as pd

df = pd.read_csv(
    file_path,
    index_col=0,
    na_values=-9999,
    header=[0, 1],
    sep='\s+'
)

方案2：在pd.read_table()中手动指定分隔符 #

如果坚持使用read_table，只需添加sep='\s+'参数即可：

import pandas as pd

df = pd.read_table(
    file_path,
    index_col=0,
    na_values=-9999,
    header=[0, 1],
    sep='\s+'
)

可选优化：清理表头的多余空格 #

由于原文件表头行存在多余空格，生成的多级表头可能带有空白字符，可通过以下代码清理：

# 清理多级表头的空格
df.columns = pd.MultiIndex.from_tuples(
    [(col[0].strip(), col[1].strip()) for col in df.columns]
)

执行上述代码后，生成的DataFrame会和你期望的格式一致：

('22', 'Q')  ('22', 'P')  ('56', 'Q')  ('56', 'P')
2023-10-11  1            2.5          4            6.7
2023-10-12  2            3.3          7            7.7
...

内容的提问来源于stack exchange，提问作者Hanna