如何在循环中创建含动态值的Pandas DataFrame

你猜的没错，核心问题有两个：

1. 循环内每次执行df = pd.DataFrame(...)都会覆盖之前的DataFrame，而不是追加行；
2. value变量在循环里没有对应每个主键更新，导致最终所有行的mapped_column[0]列都是最后一次循环的value值。

下面提供几种高效的解决思路，按推荐优先级排序：

1. 先收集全量数据，再一次性创建DataFrame（推荐） #

这种方式避免循环内重复创建DF，效率最高：

primary_keys = []
values = []  # 新增列表存每个主键对应的值

for row in column_values:
    # 生成当前迭代的primary_key逻辑
    primary_keys.append(primary_key)
    # 生成当前迭代的value逻辑（确保每次循环都更新value）
    values.append(value)

# 循环结束后，一次性创建Pandas DataFrame
df = pd.DataFrame({
    'primary_key': primary_keys,
    mapped_column[0]: values
})

# 后续Spark DF创建逻辑不变
schema = T.StructType([
    T.StructField("primary_key", T.IntegerType(), True),
    T.StructField(mapped_column[0], T.StringType(), True)
])
spark_df = spark.createDataFrame(df, schema)
spark_df.printSchema()
spark_df.show()

2. 循环内追加行到DataFrame（适合小数据量） #

如果必须在循环内处理，可以用pd.concat追加，但仅适合小数据场景（大数据会显著降低性能）：

# 初始化空DF
df = pd.DataFrame(columns=['primary_key', mapped_column[0]])

for row in column_values:
    # 生成当前primary_key和value
    new_row = pd.DataFrame({
        'primary_key': [primary_key],
        mapped_column[0]: [value]
    })
    # 追加到原DF
    df = pd.concat([df, new_row], ignore_index=True)

# 后续Spark DF创建逻辑不变

3. 直接用PySpark创建（跳过Pandas，适合大数据场景） #

既然最终要转成Spark DF，完全可以跳过Pandas，直接用Spark API创建，性能更优：

data_list = []

for row in column_values:
    # 生成当前primary_key和value
    data_list.append((primary_key, value))

# 直接创建Spark DF
schema = T.StructType([
    T.StructField("primary_key", T.IntegerType(), True),
    T.StructField(mapped_column[0], T.StringType(), True)
])
spark_df = spark.createDataFrame(data_list, schema)
spark_df.printSchema()
spark_df.show()

内容的提问来源于stack exchange，提问作者vinod827