如何在Rust中使用Polars将字符串贪婪读取到DataFrame最后一列？

问题场景 #

CSV文件最后一列（message）包含"或,字符，使用Polars默认CSV读取逻辑时，若message列存在逗号，会被误判为列分隔符，导致消息被截断且剩余内容丢失。尝试将message列类型设为List(Box::new(Utf8))时，会触发不支持该类型的报错：

Error: ComputeError(Owned("Unsupported data type List(Utf8) when reading a csv"))

解决方案 #

绕过Polars的CSV自动解析逻辑，先读取所有行作为纯文本，手动拆分前N-1列，将剩余内容合并为最后一列：

use polars::prelude::*;
use std::fs::read_to_string;

// 读取文件所有内容并按行拆分
let content = read_to_string(cli.log_file)?;
let rows: Vec<&str> = content.lines().collect();

// 逐行处理：拆分前5列，剩余内容全部归入message列
let mut parsed_rows = Vec::with_capacity(rows.len());
for row in rows {
    // splitn(6, ',') 会将字符串按逗号拆分最多6份，前5份对应前5列，第6份是剩余所有内容
    let mut parts = row.splitn(6, ',');
    let timestamp = parts.next().unwrap_or_default();
    let level = parts.next().unwrap_or_default();
    let category = parts.next().unwrap_or_default();
    let file_path = parts.next().unwrap_or_default();
    let line = parts.next().unwrap_or_default();
    let message = parts.next().unwrap_or_default().trim();

    parsed_rows.push((timestamp, level, category, file_path, line, message));
}

// 转换为DataFrame并处理类型
let df = DataFrame::new(vec![
    Series::new("timestamp", parsed_rows.iter().map(|r| r.0).collect::<Vec<_>>()),
    Series::new("level", parsed_rows.iter().map(|r| r.1).collect::<Vec<_>>()),
    Series::new("category", parsed_rows.iter().map(|r| r.2).collect::<Vec<_>>()),
    Series::new("file_path", parsed_rows.iter().map(|r| r.3).collect::<Vec<_>>()),
    // 解析line列为Int32，解析失败时用默认值0
    Series::new("line", parsed_rows.iter().map(|r| r.4.parse::<i32>().unwrap_or(0)).collect::<Vec<_>>()),
    Series::new("message", parsed_rows.iter().map(|r| r.5).collect::<Vec<_>>()),
])?;

// 可选：将timestamp列解析为日期时间类型
let df = df.with_column(
    col("timestamp")
        .str()
        .parse_datetime(Some("%Y-%m-%d %H:%M:%S%.6f"), false)
        .alias("timestamp")
)?;

原理说明 #

1. 直接读取文本行避免Polars的CSV解析逻辑误拆分含分隔符的列；
2. splitn(6, ',') 确保仅拆分前5个逗号，剩余所有内容（包括逗号）都保留为message列的值；
3. 手动处理列类型转换，避免自动解析的异常。

内容的提问来源于stack exchange，提问作者Jakob Widauer