Polars LazyFrame生成单列FFT列异常，每行重复全量结果求修正

问题分析 #

你遇到的核心问题是：直接对列应用np.fft.fft时，Polars将整个列的FFT结果数组作为常量赋值给每一行，导致新列每行都是完整的FFT列表。这是因为如果错误地将整列的FFT结果用pl.lit包装，或者没有正确使用批量处理函数，Polars会把数组当作单一值广播到所有行。

解决方案 #

使用Polars的map_batches方法处理整个列：该方法接收完整的列（Series）作为输入，处理后返回同长度的Series，Polars会自动将返回的数组元素与原数据的行一一对应。这种方式适配LazyFrame的懒执行特性，适合处理从scan_parquet加载的大型数据集。

修改后的代码示例 #

import polars as pl
import numpy as np

# 模拟大型数据集（替换为你的scan_parquet加载逻辑）
df = pl.DataFrame({"signal": np.random.randn(1000)})
lazy_df = df.lazy()

# 正确计算FFT，每行对应单个FFT结果点
result_df = lazy_df.with_columns(
    # map_batches接收整个signal列，返回同长度的FFT结果数组
    fft_result=pl.col("signal").map_batches(lambda s: np.fft.fft(s))
).collect()

# 查看结果（每行是单个复数FFT值）
print(result_df.head())

进阶优化（拆分实部/虚部） #

如果需要将复数FFT结果拆分为实部和虚部，建议在一次map_batches中完成计算，避免重复执行FFT：

result_df = lazy_df.with_columns(
    pl.col("signal").map_batches(
        lambda s: pl.DataFrame({
            "fft_real": np.fft.fft(s).real,
            "fft_imag": np.fft.fft(s).imag
        })
    )
).collect()

为什么之前的方式错误？ #

• 如果使用pl.lit(np.fft.fft(...))：会将整列的FFT数组作为常量值，广播到每一行，导致每行都是完整的FFT列表。
• 如果使用apply逐行处理：apply的参数是单个元素，np.fft.fft(x)会对单个值计算FFT，返回长度为1的数组，这也不符合需求。

内容的提问来源于stack exchange，提问作者Nader Afshar