在Rust Polars DataFrame中多列生成JsonValue并绑定SQLx插入Postgres

1. 从多列生成目标JSON对象 #

直接使用Polars的map_rows方法逐行处理数据，提取列值后构造serde_json::Value，这是最直接的实现方式：

use polars::prelude::*;
use serde_json::json;

// 示例DataFrame
let df = df!(
    "a" => [1, 2, 3],
    "b" => ["x", "y", "z"]
).unwrap();

// 生成JSON对象向量
let json_values: Vec<serde_json::Value> = df
    .map_rows(|row| {
        // 从行中零拷贝提取列值（基本类型直接引用）
        let a: i32 = row.get(0).unwrap();
        let b: &str = row.get(1).unwrap();
        // 构造目标JSON结构
        json!({"a": a, "b": b})
    })
    .collect();

map_rows会遍历每一行，通过row.get()可以零拷贝获取列的原始数据引用（比如字符串列直接返回&str），避免不必要的内存拷贝，直接生成符合要求的JSON对象。

2. 关于实现方式的地道性与效率 #

map_rows是最优选择 #

map_rows是Polars官方设计的用于将DataFrame转换为非DataFrame集合类型（如Vec<T>）的方法，属于地道的用法。

从效率上看：

• 它直接基于Polars的行访问模型，一次迭代完成转换，不需要生成中间DataFrame或结构体；
• 提取列值时采用零拷贝引用（针对基本类型和字符串），内存开销极小；
• 直接构造serde_json::Value，省去了二次序列化的步骤。

其他方式的对比 #

• apply/with_column：这两个方法的设计目标是生成新的DataFrame列，但Polars目前没有原生支持serde_json::Value的Arrow数据类型，因此无法直接用它们生成目标列，完全不适用。
• into_struct+序列化：这种方式需要先将DataFrame转换为自定义结构体的向量，再二次迭代序列化到serde_json::Value。不仅需要两次遍历，而且结构体中的字符串字段会触发数据拷贝（从Polars的字符串存储转为Rust的String），内存开销和执行效率都不如map_rows。

额外方案（不推荐） #

如果尝试用Polars原生JSON生成功能（如to_json），需要先将整个DataFrame转为JSON Lines格式，再逐行解析为serde_json::Value。这种方式需要额外的字符串序列化和反序列化步骤，效率低于直接用map_rows，仅当列名与JSON键完全一致且无需自定义结构时可考虑，但仍不如前者高效。

内容的提问来源于stack exchange，提问作者Nick K9