Pandas DataFrame列筛选异常问题：使用filter方法后列全部消失的原因排查

先拆解你遇到的两个核心问题，一步步帮你定位并解决：

1. df.filter(['a', 'b'])导致所有列消失的原因 #

Pandas的filter()方法默认是按行索引（index）匹配，而非列名！如果你直接传列表参数，它会尝试查找索引等于'a'、'b'的行，而非列名等于这两个值的列。如果你的行索引里没有这两个值，结果自然是空的DataFrame。

解决方法： #

要筛选列名，有两种直观的正确写法：

• 指定axis=1参数，明确告诉方法要匹配列：

  df = df.filter(['a', 'b'], axis=1)
  

• 或者使用items参数（语义更清晰）：

  df = df.filter(items=['a', 'b'])
  

2. 批量数据处理代码中的问题 #

逐行分析你的代码逻辑：

# 读入多个文件并拼接，每个文件的列加后缀
data = pd.concat([pd.read_table(f, encoding='unicode_escape').add_suffix(f[47:-4]) for f in file_list], axis=1)
# 冗余操作：data已经是DataFrame，无需重复转换
main_dataframe = pd.DataFrame(data)
# 错误：将data和自身再次拼接，导致所有列重复一次
main_dataframe = pd.concat([main_dataframe, data], axis = 1)
# 尝试筛选列名包含'date_'的列
main_dataframe = main_dataframe.filter(like='date_')

这里的核心问题有三个：

• 冗余的DataFrame转换：pd.DataFrame(data)完全没必要，pd.concat()返回的结果本身就是DataFrame对象。
• 重复拼接导致数据冗余：pd.concat([main_dataframe, data], axis=1)会把所有列复制一遍，既浪费内存，也可能干扰后续筛选逻辑。
• 列名匹配可能失败：如果原文件的列名不是以date开头，或者f[47:-4]截取的后缀有问题（比如截取后没有和原列名形成date_xxx的格式），filter(like='date_')就匹配不到任何列，结果为空。

优化后的解决代码： #

# 分步处理，便于排查问题
data_frames = []
for f in file_list:
    # 读入单个文件
    df = pd.read_table(f, encoding='unicode_escape')
    # 先确认后缀截取是否正确，可以临时打印验证
    suffix = f[47:-4]
    print(f"当前文件{f}的后缀为：{suffix}")
    # 给列名添加后缀，主动加下划线保证格式统一（比如原列名date会变成date_suffix）
    df_with_suffix = df.add_suffix(f'_{suffix}')
    data_frames.append(df_with_suffix)

# 拼接所有DataFrame
main_dataframe = pd.concat(data_frames, axis=1)

# 可选：先打印所有列名，确认是否存在包含'date_'的列
print("拼接后的所有列名：", main_dataframe.columns.tolist())

# 筛选列名包含'date_'的列
main_dataframe = main_dataframe.filter(like='date_')

# 验证结果
print("筛选后剩余列数：", main_dataframe.shape[1])

如果你需要更精确的匹配（比如列名以date开头），可以改用regex参数：

# 匹配列名以date开头的所有列
main_dataframe = main_dataframe.filter(regex='^date')

内容的提问来源于stack exchange，提问作者JJi