Polars无循环实现分组后动态添加serdf对应列的方法咨询

问题背景 #

现有两个Polars DataFrame（DF和serdf），可通过Pandas代码复现数据。需求如下：

• 将DF按client字段分组
• 为每个分组动态添加新列：第i轮迭代时，client x的分组添加serdf第i行第1列的数值，client y的分组添加serdf第i行第2列的数值，以此类推
• serdf包含50万行，需完全避免循环实现

解决方案 #

核心思路是利用Polars的向量化操作，通过宽表转长表、关联、透视三步实现，全程无循环。

1. 示例数据定义（基于用户提及的Pandas转换逻辑） #

import polars as pl
import pandas as pd

# 示例DF的Pandas转换代码
df_pd = pd.DataFrame({
    "client": ["x", "x", "y", "y", "z", "z"],
    "value": [1, 2, 3, 4, 5, 6]
})
DF = pl.from_pandas(df_pd)

# 示例serdf的Pandas转换代码
serdf_pd = pd.DataFrame({
    "x": [10, 20, 30],    # 对应client x的每轮值
    "y": [100, 200, 300], # 对应client y的每轮值
    "z": [1000, 2000, 3000] # 对应client z的每轮值
})
serdf = pl.from_pandas(serdf_pd)

2. 宽表转长表，标记迭代轮次 #

将serdf从宽格式（每列对应一个client）转为长格式，同时添加迭代轮次标识：

serdf_long = serdf.with_row_index(name="iteration") \
                  .melt(id_vars="iteration", variable_name="client", value_name="new_col_value")

3. 关联DF与转换后的serdf #

通过笛卡尔积关联，得到每个client、每个迭代轮次对应的新增值：

combined = DF.join(serdf_long, on="client", how="cross")

4. 透视生成所有衍生列 #

如果需要将每个迭代轮次作为单独的列，通过透视操作实现：

result = combined.pivot(
    index=["client", "value"],  # 保留DF原有列作为索引
    columns="iteration",
    values="new_col_value",
    aggregate_function="first"
).rename(lambda col: f"iter_{col}" if col not in ["client", "value"] else col)

方案优势 #

• 全程采用Polars向量化操作，性能远优于循环，可高效处理50万行的serdf
• 内存占用可控，避免循环中重复创建DataFrame带来的资源浪费
• 可灵活调整：若无需一次性生成所有衍生列，可通过过滤iteration字段按需生成单个DF，依然无需循环

内容的提问来源于stack exchange，提问作者LeeBoy