Python中如何将DataFrame行转为列表并计算与首行的元素差值

嘿，作为Python新手处理这么大的DataFrame确实需要点实用技巧，我来一步步帮你搞定这两个需求～

需求1：将DataFrame每行转为列表 #

针对你10万+行的数据集，优先用Pandas内置的高效方法，避免手动遍历（手动循环在大数据量下会很慢）：

import pandas as pd

# 假设你的DataFrame变量名为df
row_lists = df.values.tolist()

执行后，row_lists就是一个嵌套列表：外层列表包含所有行，每个内层列表就是对应行的数值集合，比如row_lists[0]就是你要的第一行列表。

如果只是想了解手动遍历的方式（不推荐大数据量场景），可以参考：

row_lists = []
for _, row in df.iterrows():
    row_lists.append(row.tolist())

但记住，iterrows()是逐行迭代Python对象，性能远不如values.tolist()这种底层优化的方法。

需求2：计算每行与第一行的差值 #

这里同样推荐用Pandas的向量化运算，速度比Python循环快几个量级，尤其适合你的大数据集：

# 获取第一行数据
first_row = df.iloc[0]
# 直接广播计算所有行与第一行的差值，得到差值DataFrame
diff_df = df - first_row
# 如果需要转成列表形式的差值，直接调用：
diff_lists = diff_df.values.tolist()

diff_lists里的每个子列表就是对应行和第一行的元素差值，比如diff_lists[1]就是第二行与第一行的差值集合。

要是你已经通过需求1得到了row_lists，也可以基于列表计算：

first_row_list = row_lists[0]
diff_lists = []
for row in row_lists:
    # 用列表推导式完成对应位置元素相减
    diff = [current_val - first_val for current_val, first_val in zip(row, first_row_list)]
    diff_lists.append(diff)

不过这种方法在10万行的规模下，运行时间会比Pandas向量化操作长很多，所以还是优先选第一种方案。

小提示 #

• 确保你的DataFrame里都是数值类型（从你给出的样本看没问题），如果有非数值列，要先筛选或处理，否则会报错。
• 大数据量场景下，尽量依赖Pandas的底层优化方法，避免手写Python循环，能大幅提升运行效率。

内容的提问来源于stack exchange，提问作者czy