如何为Polars LazyFrame的聚合与排序指定return_dtype？

我有一个Polars LazyFrame或DataFrame，执行以下操作后排序时报错：

第一步，通过with_columns/struct/map_elements创建dict对象列：

combined_plan = combined_plan.with_columns(
    pl.struct(['candle_dt', 'timeframe', 'time_diff_seconds', 'open', 'high', 'low', 'close', 'volume'])
        .map_elements(lambda row: row, return_dtype=pl.Object).alias('event')
)

第二步，分组聚合生成dict对象列表：

combined_plan = combined_plan.group_by('event_trigger_dt').agg(
    pl.col("event").map_elements(lambda row: row.to_list(), return_dtype=pl.List(pl.Object)).alias('events')
)

执行排序combined_plan = combined_plan.sort(['event_trigger_dt'])时，出现报错：

pyo3_runtime.PanicException: called `Result::unwrap()` on an `Err` value: ComputeError(ErrString("ListArray's child's DataType must match. However, the expected DataType is FixedSizeBinary(8) while it got Extension("POLARS_EXTENSION_TYPE", FixedSizeBinary(8), Some("1732551860809866900;4003949774752"))."))

尝试过pl.Object、pl.Struct、pl.List(pl.Object)等类型均无法解决，用JSON转字符串的临时方案不够理想，请问如何指定return_dtype才能让聚合后正常排序？

核心问题是你用map_elements将Struct转成Python dict（Object类型）后，Polars内部处理时出现了扩展类型标识不一致的冲突。直接转Object类型没必要，反而破坏了Polars的原生类型兼容性，正确做法是保留原生Struct类型，用Polars内置函数完成聚合。

修正后的代码步骤： #

1. 直接保留Struct类型，无需转成Object/dict：

combined_plan = combined_plan.with_columns(
    pl.struct(['candle_dt', 'timeframe', 'time_diff_seconds', 'open', 'high', 'low', 'close', 'volume'])
        .alias('event')  # 去掉map_elements，用Polars原生Struct类型
)

2. 分组聚合时用Polars内置的list()函数生成Struct列表：

combined_plan = combined_plan.group_by('event_trigger_dt').agg(
    pl.col("event").list().alias('events')  # 替代map_elements手动转列表
)

3. 此时排序操作完全正常：

combined_plan = combined_plan.sort(['event_trigger_dt'])

原方法失效原因： #

• map_elements将Struct转成Python dict后，Polars会用内部扩展类型存储这些Python对象，分组聚合时不同组的扩展类型标识可能不统一，导致排序阶段出现类型匹配错误。
• 原生Struct类型是Polars完全可控的类型，聚合生成的List(Struct)内部结构一致，不会有类型冲突；后续需要转Python dict时，只需在最终取出数据时用to_list()或to_pandas()自动转换即可，无需额外处理。

如果确实需要在Polars内部将Struct转为Python dict（比如执行复杂Python逻辑），可以在聚合、排序完成后再做转换，避免类型冲突：

# 先完成聚合、排序，最后再转成Python dict列表
combined_plan = combined_plan.with_columns(
    pl.struct(['candle_dt', 'timeframe', 'time_diff_seconds', 'open', 'high', 'low', 'close', 'volume'])
        .alias('event')
).group_by('event_trigger_dt').agg(
    pl.col("event").list().alias('events')
).sort(['event_trigger_dt']).with_columns(
    pl.col('events').map_elements(lambda lst: [row.to_dict() for row in lst], return_dtype=pl.List(pl.Object))
)

内容的提问来源于stack exchange，提问作者elaspog