如何解决Polars write_database写入Vertica的TEXT类型不存在错误？

问题根源 #

Polars默认将字符串列映射为SQL的TEXT类型，但Vertica数据库不支持该类型，需替换为VARCHAR类型。

解决方案 #

方法1：手动指定单个列的SQL类型

在write_database方法中，通过dtype参数显式指定字符串列对应的SQL类型为sqlalchemy.types.VARCHAR：

import polars as pl
import sqlalchemy as sa
from sqlalchemy.types import VARCHAR

df = pl.DataFrame({"str_col": ["a", "b", "c"]})
# 为字符串列指定VARCHAR类型
dtype_mapping = {"str_col": VARCHAR}

df.write_database(
    table_name="schema.table",
    connection="vertica+vertica_python://user:pw@host:port/dbname",
    if_exists="replace",
    dtype=dtype_mapping
)

方法2：批量处理所有字符串列

如果DataFrame中有多个字符串列，可以自动识别并批量指定类型：

import polars as pl
import sqlalchemy as sa
from sqlalchemy.types import VARCHAR

df = pl.DataFrame({
    "str_col1": ["a", "b", "c"],
    "str_col2": ["x", "y", "z"],
    "int_col": [1, 2, 3]
})

# 自动筛选所有字符串列，生成类型映射
dtype_mapping = {
    col: VARCHAR 
    for col, dtype in df.schema.items() 
    if dtype == pl.String
}

df.write_database(
    table_name="schema.table",
    connection="vertica+vertica_python://user:pw@host:port/dbname",
    if_exists="replace",
    dtype=dtype_mapping
)

方法3：全局适配类型映射（进阶）

如果需要长期适配Vertica，可以通过SQLAlchemy的类型装饰器，让Polars自动将字符串列映射为VARCHAR：

from sqlalchemy.dialects import vertica
from sqlalchemy import types

# 自定义类型转换，将TEXT映射为VARCHAR
class VerticaStringFix(types.TypeDecorator):
    impl = types.String

    def load_dialect_impl(self, dialect):
        if dialect.name == 'vertica':
            return dialect.type_descriptor(vertica.VARCHAR())
        return super().load_dialect_impl(dialect)

# 使用时在dtype中指定
dtype_mapping = {"str_col": VerticaStringFix}

验证 #

执行上述代码后，Polars生成的建表语句会将字符串列类型改为VARCHAR，符合Vertica的语法要求，即可正常写入数据。

内容的提问来源于stack exchange，提问作者Tamy 13