使用np.array_split拆分Polars DataFrame后无法转换数据类型的问题

错误原因 #

1. 类型信息丢失：使用np.array_split处理Polars DataFrame时，Polars会被强制转为numpy的object类型数组——因为Polars支持多类型列，而numpy无法用统一数值类型存储异构数据，只能用object容器，这直接丢失了原数据的类型元信息。
2. Schema指定不完整：调用pl.from_numpy时仅传入schema=df.columns（仅列名列表），Polars无法识别原列类型，只能将所有列设为object类型。Polars的object类型用于存储任意Python对象，不属于强类型范畴，因此无法直接通过cast()转换为String等特定类型。

修复方法 #

推荐优先使用Polars原生方法拆分，既保留类型又保证性能；若必须用numpy工具链，则需指定完整schema。

方法一：使用Polars内置拆分方法（推荐）

Polars提供了split_into_chunks方法，直接将DataFrame拆分为多个保留原类型的子DataFrame：

import polars as pl

df = pl.DataFrame({
    'column1': ['2021-01-01', '2021-02-02', '2021-03-03'],
    'column2': ['value1', 'value2', 'value3']
})

# 拆分为2个均分的chunk，每个chunk保留原数据类型
chunks = df.split_into_chunks(2)
df_chunk = chunks[0]

# 验证类型：仍为原有的String类型
print(df_chunk.dtypes)  # [String, String]

如果需要自定义拆分位置（而非均分），可以用slice方法精准截取：

# 取前2行作为第一个chunk
df_chunk = df.slice(0, 2)

方法二：若必须使用numpy工具链

拆分后转回Polars时，需指定包含列名和类型的完整schema（而非仅列名）：

import numpy as np
import polars as pl

df = pl.DataFrame({
    'column1': ['2021-01-01', '2021-02-02', '2021-03-03'],
    'column2': ['value1', 'value2', 'value3']
})

# 先将Polars DataFrame转为numpy数组，再拆分
split_array = np.array_split(df.to_numpy(), 2)[0]
# 使用原df的完整schema（列名+类型）转回Polars
df_chunk = pl.from_numpy(split_array, schema=df.schema, orient='row')

# 验证类型：已正确保留原类型
print(df_chunk.dtypes)  # [String, String]

内容的提问来源于stack exchange，提问作者kobue1