使用pd.concat合并DataFrame后触发ValueError的问题排查

错误根源 #

你碰到的ValueError核心原因是索引不匹配：

• pd.concat([df1, df2], axis=0)默认保留两个DataFrame的原始索引，合并后大概率出现重复索引或非连续的整数索引。
• 你的自定义函数用从0开始递增的counter作为df.loc的索引参数，但当合并后的索引不是连续的0起始整数时，df.loc[counter, column_name]会返回一个Series而非单个值。pd.isnull()对Series操作会生成布尔Series，而if语句无法直接判断布尔Series的真假，因此触发"truth value ambiguous"错误。
• 而pd.append(df2, ignore_index=True)会自动把索引重置为连续整数，counter刚好和索引一一对应，所以函数能正常运行；合并前的单个DataFrame索引也是连续的，自然也没问题。

修复方案 #

方案1：concat时重置索引 #

如果不需要保留原索引，在concat时加上ignore_index=True参数，让合并后的索引变为连续整数，原函数就能正常工作：

df_combined = pd.concat([df1, df2], axis=0, ignore_index=True)
fill_nan_column(df_combined, "你的目标列名")

方案2：用pandas内置高效方法替代自定义函数 #

自定义循环遍历行的效率极低，尤其大数据集下表现更差。pandas内置的ffill()（向前填充）可以直接实现"用前一行值填充NaN"的需求，还能完全规避索引问题：

# 直接对目标列执行向前填充
df_combined[column_name] = df_combined[column_name].ffill()
# 旧版pandas也可以用fillna方法
# df_combined[column_name] = df_combined[column_name].fillna(method='ffill')

方案3：修改自定义函数适配任意索引 #

如果必须保留原索引且坚持用自定义函数，别再用counter匹配索引，直接遍历DataFrame的索引和对应值即可：

def fill_nan_column(df, column_name):
    prev_val = None
    # 遍历索引与对应的值
    for idx, val in df[column_name].items():
        if pd.isnull(val):
            df.loc[idx, column_name] = prev_val
        else:
            prev_val = val

内容的提问来源于stack exchange，提问作者Nedocoder