如何在循环中用pd.concat替代DataFrame.append？解决标量值索引报错

原问题代码 #

原循环使用append方法的代码：

for i in range(0,len(DF)):
        result = result.append({'Test': DF.iloc[i].name},ignore_index=True)

尝试用pd.concat替换后报错的代码：

for i in range(0,len(DF)):
        result = pd.concat([result,pd.DataFrame({'Test': DF.iloc[i].name})])

报错信息：

ValueError: If using all scalar values, you must pass an index

报错原因 #

你创建临时DataFrame时，DF.iloc[i].name是单个标量值，pd.DataFrame接收标量值时无法自动生成行索引，必须显式指定索引，或者把标量包装成可迭代的列表/元组。

正确的循环内替换方法 #

方法1：显式指定索引

给临时DataFrame添加index参数，让pandas明确行的生成规则：

for i in range(len(DF)):
    temp_df = pd.DataFrame({'Test': DF.iloc[i].name}, index=[0])
    result = pd.concat([result, temp_df], ignore_index=True)

方法2：把标量包装成列表

将单个标量值放在列表里，pandas会自动识别为一行数据：

for i in range(len(DF)):
    temp_df = pd.DataFrame({'Test': [DF.iloc[i].name]})
    result = pd.concat([result, temp_df], ignore_index=True)

更高效的优化写法 #

循环内反复调用pd.concat性能很差，因为每次都会创建新的DataFrame对象。更优的做法是先把所有要添加的数据收集到列表中，最后一次性合并：

# 初始化空列表收集数据
data_list = []
for i in range(len(DF)):
    data_list.append({'Test': DF.iloc[i].name})

# 最后一次性生成DataFrame并合并
result = pd.concat([result, pd.DataFrame(data_list)], ignore_index=True)

甚至可以用列表推导式进一步简化：

data_list = [{'Test': name} for name in DF.index]
result = pd.concat([result, pd.DataFrame(data_list)], ignore_index=True)

内容的提问来源于stack exchange，提问作者TourEiffel