修正Pandas索引重复轴报错：含None值索引的DataFrame构建

报错原因 #

没错，报错确实是因为索引中的重复缺失值（None/np.NaN）导致的。Pandas在对齐索引时，无法区分重复的缺失值索引键，因此无法完成reindex操作，抛出ValueError: cannot reindex from a duplicate axis错误。

解决办法 #

方法一：用自定义占位符替代缺失值索引

通过自定义唯一的占位符（如__EMPTY_ROW__）代替None，避免索引出现重复缺失值，完成数据对齐后再转回缺失值，不影响Excel输出效果。

import pandas as pd
import numpy as np

# 使用自定义占位符标记空行，避免重复缺失值索引
test_index = ['row1', 'row2', '__EMPTY_ROW__', '__EMPTY_ROW__', 'rowN']

# 模拟更新数据
test_update_df = pd.DataFrame(
    index=['row1', np.NaN, 'row2', np.NaN, 'rowN'],
    data=[1, np.NaN, 64, np.NaN, 643.78]
)
test_update_df.columns = ['1/6/23']

# 将更新数据的缺失值索引替换为自定义占位符，确保索引匹配
test_update_df.index = test_update_df.index.fillna('__EMPTY_ROW__')

# 按目标索引重新对齐数据
final_df = test_update_df.reindex(test_index)

# 最后将占位符转回缺失值（Excel输出时会显示为空）
final_df.index = final_df.index.replace('__EMPTY_ROW__', np.NaN)

方法二：用整数索引维护空行位置

放弃用缺失值作为索引，改用整数索引控制行顺序，将原行标签作为普通列存储，彻底避免索引重复问题。

import pandas as pd
import numpy as np

# 定义行结构：每个元素对应行标签，空行用None标记
row_structure = ['row1', 'row2', None, None, 'rowN']

# 模拟更新数据并将索引转为列
test_update_df = pd.DataFrame(
    index=['row1', np.NaN, 'row2', np.NaN, 'rowN'],
    data=[1, np.NaN, 64, np.NaN, 643.78]
)
test_update_df.columns = ['1/6/23']
test_update_df = test_update_df.reset_index().rename(columns={'index': 'row_label'})

# 创建最终DataFrame，用整数索引固定行位置
final_df = pd.DataFrame({'row_label': row_structure})
# 根据行标签匹配数据，空行自动填充NaN
final_df = final_df.merge(test_update_df, on='row_label', how='left')

# 若需要将行标签作为索引输出Excel
final_df.set_index('row_label', inplace=True)

总结 #

两种方法都能实现保留空行结构的需求：方法一更贴近你原本的索引使用习惯，方法二则从根源避免了索引重复问题，适用性更广。

内容的提问来源于stack exchange，提问作者Merv Merzoug