Pandas添加自定义索引后数据全为NaN问题求助

问题原因 #

• 索引与数据行长度不匹配：自定义索引的元素数量和DataFrame行数不一致时，Pandas会将无法对齐的列值自动填充为NaN。比如原数据有5行，但自定义索引只有3个元素，剩余行的列值就会变成NaN。
• 错误的索引设置方式：直接给df.index赋值时打乱了原数据对齐关系，或是使用set_index()时指定了不存在的列、参数设置错误，导致数据丢失。
• 数据构造顺序错误：创建DataFrame时同时传入data和index参数，但数据结构与索引的对应关系未处理好，比如字典构造时索引和值列表长度不匹配。

解决方法 #

场景1：创建DataFrame时指定自定义索引 #

确保自定义索引长度和数据行数完全一致：

import pandas as pd

# 模拟颜色数据，各列表长度统一
color_data = {
    "Color Name": ["Red", "Green", "Blue"],
    "Hex code": ["#FF0000", "#00FF00", "#0000FF"],
    "Decimal Code (RGB)": ["(255,0,0)", "(0,255,0)", "(0,0,255)"]
}
# 自定义索引长度与数据行数匹配（3行）
custom_index = ["C1", "C2", "C3"]

df = pd.DataFrame(color_data, index=custom_index)
print(df)

场景2：给已存在的DataFrame添加自定义索引 #

确保索引长度匹配，可选择两种方式：

# 原无自定义索引的DataFrame
df = pd.DataFrame({
    "Color Name": ["Red", "Green", "Blue"],
    "Hex code": ["#FF0000", "#00FF00", "#0000FF"],
    "Decimal Code (RGB)": ["(255,0,0)", "(0,255,0)", "(0,0,255)"]
})

# 方法1：直接赋值索引，长度必须匹配
df.index = ["C1", "C2", "C3"]

# 方法2：用现有列作为索引（不会丢失数据）
# df = df.set_index("Color Name")

排查技巧 #

• 先检查自定义索引长度：print(len(custom_index))，再对比DataFrame行数：print(len(df))，确保两者相等。
• 若使用set_index()后出现NaN，检查是否误将含NaN的列设为索引，或是参数设置导致数据丢失。

内容的提问来源于stack exchange，提问作者Robin Rouwenhorst