Polars拼接DataFrame因列类型不匹配报错的通用解决方案求助

Polars的pl.concat()对列类型一致性要求严格，无法像Pandas的pd.concat()那样自动兼容数值类型差异（如f64与i64），直接拼接会抛出ShapeError。以下是无需硬编码列名的通用解决办法：

方法1：自动推断兼容类型并转换所有DataFrame #

利用Polars的dtype_max工具函数，自动识别每个列在所有DataFrame中的兼容类型，批量转换后再拼接：

import polars as pl
from polars.datatypes import dtype_max

df1 = pl.DataFrame({'a': [1.0, 2.0, 3.0], 'b': [1, 2, 3]})
df2 = pl.DataFrame({'a': [1, 2, 3], 'b': [1, 2, 3]})

# 收集所有涉及的列名
all_columns = set(df1.columns).union(df2.columns)

# 为每个列确定兼容类型
common_dtypes = {}
for col in all_columns:
    # 获取所有DataFrame中该列的类型（跳过无该列的DataFrame）
    col_dtypes = [df[col].dtype for df in [df1, df2] if col in df.columns]
    common_dtypes[col] = dtype_max(col_dtypes)

# 批量转换每个DataFrame的列类型
converted_dfs = [
    df.with_columns(pl.col(col).cast(common_dtypes[col]) for col in df.columns)
    for df in [df1, df2]
]

# 安全拼接
result = pl.concat(converted_dfs)
print(result)

方法2：利用pl.concat的schema参数强制统一类型 #

直接通过schema参数指定统一的列类型规则，Polars会自动完成所有DataFrame的列类型转换：

import polars as pl

df1 = pl.DataFrame({'a': [1.0, 2.0, 3.0], 'b': [1, 2, 3]})
df2 = pl.DataFrame({'a': [1, 2, 3], 'b': [1, 2, 3]})

# 生成统一Schema：为每个列选择兼容类型
combined_schema = {}
for col in set(df1.columns).union(df2.columns):
    col_dtypes = [df[col].dtype for df in [df1, df2] if col in df.columns]
    combined_schema[col] = pl.datatypes.dtype_max(col_dtypes)

# 带schema参数拼接
result = pl.concat([df1, df2], schema=combined_schema)
print(result)

方法3：借助Pandas中转拼接（快速兼容方案） #

如果对性能要求不高，可以先转成Pandas完成自动兼容拼接，再转回Polars：

import polars as pl
import pandas as pd

df1 = pl.DataFrame({'a': [1.0, 2.0, 3.0], 'b': [1, 2, 3]})
df2 = pl.DataFrame({'a': [1, 2, 3], 'b': [1, 2, 3]})

# Pandas中转拼接
pd_result = pd.concat([df1.to_pandas(), df2.to_pandas()])
pl_result = pl.from_pandas(pd_result)
print(pl_result)

注意事项 #

• dtype_max会选择最宽泛的兼容类型（如整数+浮点数→浮点数），行为与Pandas一致，但需注意整数转浮点数可能带来的精度问题
• 若存在字符串与数值混合的列，需额外处理（数据库导出场景中此类情况较少）
• 列名不一致时，拼接后缺失列会填充null，与Pandas行为一致

内容的提问来源于stack exchange，提问作者Surender Reddy Chitteddy