如何在Polars中实现多gte/lte条件的左连接？

针对30GB以上的大数据集，Polars可以通过条件左连接+分组筛选的方式实现需求，全程避免笛卡尔积，同时保证匹配第一个符合条件的行。

解决方案代码 #

内存中DataFrame处理 #

import polars as pl

# 为promises添加行索引，标记原数据顺序，确保取第一个匹配项
promises_with_idx = promises.with_row_index("promise_idx")

# 执行条件左连接：匹配delay在mindelay和maxdelay之间的行
joined = delays.join(
    promises_with_idx,
    how="left",
    condition=(pl.col("delay").between(pl.col("mindelay"), pl.col("maxdelay")))
)

# 按原delays的主键分组，取第一个匹配的结果
result = joined.group_by(["ex", "delay"], maintain_order=True).agg(
    pl.col("ref").first(),
    pl.col("maxdelay").first(),
    pl.col("mindelay").first()
)

print(result)

大文件懒加载处理（避免内存溢出） #

如果数据存储在Parquet等文件中，使用Polars懒执行API高效处理：

import polars as pl

# 懒加载大文件，不立即加载到内存
delays_scan = pl.scan_parquet("delays.parquet")
promises_scan = pl.scan_parquet("promises.parquet")

# 添加顺序索引
promises_with_idx_scan = promises_scan.with_row_index("promise_idx")

# 条件左连接
joined_scan = delays_scan.join(
    promises_with_idx_scan,
    how="left",
    condition=(pl.col("delay").between(pl.col("mindelay"), pl.col("maxdelay")))
)

# 分组取第一个匹配项，保持原顺序
result_scan = joined_scan.group_by(["ex", "delay"], maintain_order=True).agg(
    pl.col("ref").first(),
    pl.col("maxdelay").first(),
    pl.col("mindelay").first()
)

# 将结果写入文件，全程懒执行
result_scan.sink_parquet("result.parquet")

关键逻辑说明 #

1. 添加顺序索引：给promises添加promise_idx列，标记原数据的行顺序，确保后续筛选时能取到第一个符合条件的行。
2. 条件左连接：Polars的join方法支持condition参数，直接指定范围匹配规则，内部会优化连接逻辑，不会生成笛卡尔积，适合处理大数据集。
3. 分组筛选第一个匹配项：连接后部分delays行可能匹配多个promises行，通过group_by原delays的唯一标识（ex+delay），使用first()取第一个匹配结果，maintain_order=True保证结果行顺序与原delays一致。

示例验证 #

代入你提供的示例数据，运行后输出与期望结果完全一致：

• delay=11匹配promises中的b行（第一个符合5<=11<=15的行）
• delay=32匹配promises中的e行（先于f行出现，符合"取第一个"的要求）
• 无匹配的行（如delay=24）保留null值，符合左连接规则

内容的提问来源于stack exchange，提问作者wedrano de carvalho