Polars DataFrame能否仅序列化转换操作而不序列化原始数据框？

Polars 原生支持仅序列化/反序列化数据转换逻辑、不携带原始数据的能力，不需要手动递归适配所有LogicalPlan节点类型，也不需要随版本迭代持续维护转换类型映射，核心实现基于官方内置的序列化接口。

• 能力覆盖范围
  内置序列化能力支持所有Polars原生转换操作，包括group by聚合、join关联、filter过滤、select列选择、窗口函数、pivot透视、自定义表达式等全量内置操作，序列化产物仅包含转换逻辑定义，不会写入任何原始数据内容，反序列化后可直接应用到同Schema的任意DataFrame上。

• 两类常用场景实现

  1. 单条转换表达式复用
     如果只需要复用单列/多列的计算逻辑，直接序列化Expr对象即可，是最轻量的实现方式：

  import polars as pl
  
  # 序列化目标表达式，无任何数据依赖
  serialized_expr = (pl.col("unit_price") * pl.col("quantity")).round(2).serialize()
  
  # 后续任意场景反序列化直接使用
  loaded_expr = pl.Expr.deserialize(serialized_expr)
  # 直接应用到实际数据上
  real_df = pl.read_csv("sales.csv")
  result = real_df.with_columns(loaded_expr.alias("total_amount"))
  

  2. 完整多步转换Pipeline复用
     如果需要序列化包含group by、join等多步操作的完整数据处理链路，用LogicalPlan序列化即可，不需要手动解析每个转换节点：

  import polars as pl
  
  # 序列化完整转换pipeline，仅需要传入目标数据的Schema，不需要传入实际数据
  def serialize_pipeline(target_schema: pl.Schema) -> bytes:
      # 构造仅挂载Schema、无实际数据的空LazyFrame
      empty_lf = pl.LazyFrame(schema=target_schema)
      # 编写任意需要的转换逻辑
      pipeline = (
          empty_lf
          .filter(pl.col("order_amount") > 0)
          .group_by("user_id", "order_month")
          .agg(
              pl.col("order_amount").sum().alias("monthly_consume"),
              pl.col("order_id").n_unique().alias("order_count")
          )
      )
      # 导出序列化后的逻辑计划，无任何原始数据
      return pipeline.logical_plan.serialize()
  
  # 反序列化后直接应用到实际数据
  def apply_pipeline(real_lf: pl.LazyFrame, serialized_pipeline: bytes) -> pl.DataFrame:
      loaded_lf = pl.LazyFrame.deserialize(serialized_pipeline)
      # 替换逻辑计划的空输入为实际数据，直接执行得到结果
      return loaded_lf.with_context(real_lf).collect()
  

• 注意事项

  • 序列化产物和Polars版本绑定，跨大版本加载可能存在兼容性问题，版本升级时仅需要重新生成序列化的逻辑/表达式即可，不需要修改适配代码。
  • 如果转换逻辑中使用了自定义UDF，需要保证反序列化环境中已经注册了同名、同逻辑的UDF，否则会加载失败。
  • 不需要手动遍历、构造LogicalPlan节点，官方序列化接口已经自动覆盖所有内置转换类型，新版本新增的转换操作会自动适配，不需要额外维护。

内容的提问来源于stack exchange，提问作者julienfr112