如何基于集合元素重复DataFrame并添加属性列以提升性能？

你当前的嵌套循环实现虽然能达成目标，但在数据量较大时效率会明显偏低。下面几种方法可以利用pandas内置功能或更高效的列表操作，基于你已有的df或原始data字典简化逻辑、提升性能：

方法1：利用已有DataFrame + concat + assign（最简洁） #

这是代码可读性最高的方式，直接基于你已经生成的df来操作：

import pandas as pd

# 假设你已经有了原始df和properties列表
properties = [1, 2, 3]

# 为每个property生成带对应列的df副本，然后拼接
new_df = pd.concat([df.assign(property=p) for p in properties], ignore_index=True)

assign会为每个df副本添加property列并赋值为当前p，concat将所有副本合并，ignore_index=True重置结果的索引，最终输出完全匹配你想要的目标DataFrame。

方法2：利用repeat实现向量化操作（性能最优） #

如果追求极致性能，推荐使用pandas的索引重复功能——这是底层的向量化操作，比Python循环快得多：

# 重复原df的索引，次数等于properties的长度
repeated_df = df.loc[df.index.repeat(len(properties))].reset_index(drop=True)
# 生成对应的property列：每个property值重复原df的行数
repeated_df['property'] = properties * len(df)

这种方法避免了创建多个df副本，直接在原数据基础上扩展行，然后批量添加property列，数据量越大性能优势越明显。

方法3：基于原始data字典直接构造新数据 #

如果你还没生成df，可以直接对原始data字典操作，省去中间转换步骤：

properties = [1, 2, 3]
row_count = len(data['a'])

# 重复原data中每个列的数据
new_data = {col: values * len(properties) for col, values in data.items()}
# 生成property列：每个property重复row_count次
new_data['property'] = [p for p in properties for _ in range(row_count)]

new_df = pd.DataFrame(new_data)

这里用列表乘法快速重复原有列的数据，用列表推导式生成property列，同样避免了嵌套循环的低效逐元素追加操作。

为什么这些方法更优？ #

• 原嵌套循环是逐元素追加，每次操作都会触发列表扩容，数据量大时内存和时间开销很高；
• 上述方法都是批量操作，要么利用pandas的C优化向量化实现，要么利用Python列表的高效内置操作，性能提升非常显著。

内容的提问来源于stack exchange，提问作者lmiguelvargasf