Polars处理含混合编码的无效CSV文件的相关问题咨询

先来看这个真实工作中高频遇到的棘手场景——一份同时混了两种编码的“坏CSV”，代码示例如下：

from io import TextIOWrapper, BytesIO
import polars as pl
import pandas as pd

csv_str = (
    b"spam,egg\n"
    + "spam,œuf\n".encode("cp1252")
    + "spam,αυγό\n".encode("utf8")
)
content = BytesIO(csv_str)
wrapped = TextIOWrapper(content, errors="replace")

try:
    df = pl.read_csv(wrapped)
except Exception as e:
    print("polars failed!")
    print(e)

wrapped.seek(0)

try:
    df = pd.read_csv(wrapped, sep=",")
except Exception as e:
    print("pandas failed!")
    print(e)

这种看着离谱的混合编码CSV，却是实际业务里常碰到的坑。用Pandas的话，不管是通过TextIOWrapper预处理，还是用内置的encoding_errors参数，都能搞定，但Polars却跑不通，这就引出了两个关键问题：

• 既然TextIOWrapper应该把输入处理成标准化的文本流了，为什么Polars还是处理不了？
• 有没有Polars原生的处理方式？（除了用Pandas读取后再转成Polars DataFrame这种曲线救国的方法）

问题1：为什么Polars无法通过TextIOWrapper处理这种输入？ #

核心原因在于Polars和Pandas读取CSV的底层逻辑完全不同：

• Pandas的read_csv是基于Python的文本流模型工作的，它会老老实实读取TextIOWrapper输出的、已经处理过编码错误的文本内容，所以能正常解析。
• 而Polars为了追求极致的性能，底层是用Rust的csv库实现的，它的设计逻辑是直接操作原始字节流。当你传入TextIOWrapper时，Polars会跳过Python的文本处理层，直接读取背后的原始字节数据——这就完全绕开了TextIOWrapper的错误替换逻辑，那些混合编码的字节直接被Polars的解析器读取，自然就触发了编码错误。

简单说就是：Polars根本没用到TextIOWrapper处理后的文本，而是直接读了原始的“脏”字节。

问题2：Polars原生的处理方法 #

当然有，给你两种实用的原生方案：

方案1：先预处理字节流为统一编码

既然Polars喜欢字节流，我们可以先把混合编码的内容通过TextIOWrapper转换成统一编码的文本，再转成字节流传给Polars：

from io import TextIOWrapper, BytesIO
import polars as pl

csv_str = (
    b"spam,egg\n"
    + "spam,œuf\n".encode("cp1252")
    + "spam,αυγό\n".encode("utf8")
)
content = BytesIO(csv_str)
wrapped = TextIOWrapper(content, errors="replace")

# 先读取所有处理后的文本，转成UTF-8字节流
fixed_bytes = BytesIO(wrapped.read().encode("utf-8"))
# 再用Polars读取处理好的字节流
df = pl.read_csv(fixed_bytes)
print(df)

方案2：用Polars自带的encoding_errors参数（Polars 0.18.0+）

从Polars 0.18.0版本开始，read_csv等读取函数新增了encoding_errors参数，作用和Pandas的同名参数类似，能直接在读取时处理编码错误：

from io import BytesIO
import polars as pl

csv_str = (
    b"spam,egg\n"
    + "spam,œuf\n".encode("cp1252")
    + "spam,αυγό\n".encode("utf8")
)
content = BytesIO(csv_str)

# 直接指定编码和错误处理策略
df = pl.read_csv(content, encoding="utf-8", encoding_errors="replace")
print(df)

这个方案更简洁，Polars会在解析字节流时，自动把无法用UTF-8解析的字节替换成�，完美兼容混合编码的场景。

备注：内容来源于stack exchange，提问作者tgrandje