如何从NumPy结构化数组高效创建可用的Polars DataFrame？

问题背景 #

我正在把应用从Pandas迁移到Polars，追求更好的扩展性和性能。目前我的流程是用h5py读取HDF5复合数据集到NumPy结构化数组，再直接生成Pandas DataFrame，代码如下：

# dset是HDF5复合数据集
np_struct_array = np.empty(dset.shape, dset.dtype)
dset.read_direct(np_struct_array)
df=pd.DataFrame(np_struct_array, dset.dtype)

NumPy结构化数组的dtype由读取的H5数据集决定，典型示例：

[('SID', '<i8'), ('G', '<i8'), ('C', '<i8'), ('D', '<f8'), ('DOMAIN_ID', '<i8')] 

这种方式速度很快，DataFrame直接沿用结构化数组的列名和类型。

但切换到Polars后，用同样方法得到的是单列Object类型的DataFrame（比如Schema为{'column_0': Object}），不符合需求。我尝试过以下方法生成符合要求的DataFrame，但性能极差，比Pandas慢10倍：

df=pl.DataFrame(
    {
      field_name: np_struct_array[field_name] for field_name in np_struct_array.dtype.fields
    }
)

我的问题是：将HDF5复合数据集转换为Polars DataFrame的最快/最高效方式是什么？有没有更好的方法利用NumPy结构化数组与Polars？我也考虑过先读入Pandas DataFrame再转Polars，但担心会复制大量数据。

高效解决方案 #

1. 零复制：从Pandas DataFrame转Polars #

你担心的数据复制问题不存在——Polars从Pandas DataFrame转换时，默认会直接共享底层数据（只要数据类型兼容）。而Pandas构造DataFrame本身就是直接复用NumPy结构化数组的内存，没有额外拷贝：

import pandas as pd
import polars as pl

# 复用原结构化数组生成Pandas DataFrame（无复制）
pd_df = pd.DataFrame(np_struct_array)
# 转换为Polars DataFrame，零复制
pl_df = pl.from_pandas(pd_df)

这种方式的性能和你原来的Pandas流程几乎一致，完全不会有额外开销。

2. 直接利用结构化数组字段视图构造Polars DataFrame #

结构化数组的每个字段都是原数组的视图而非副本，因此可以通过字典推导式快速生成字段映射，再传入Polars：

import polars as pl

# 生成字段名到对应数组视图的字典（无数据复制）
field_names = np_struct_array.dtype.names
data_map = {name: np_struct_array[name] for name in field_names}
# 构造Polars DataFrame
pl_df = pl.DataFrame(data_map)

如果这种方式性能仍不理想，可以优先选择第一种方案，因为Polars对Pandas的底层结构适配更成熟。

3. 端到端最优：直接用Polars读取HDF5 #

如果你的HDF5文件是标准格式，Polars支持直接读取，跳过NumPy和Pandas的中间步骤，这是性能最优的方式：

import polars as pl

# 直接读取HDF5文件中的指定数据集
pl_df = pl.read_hdf("your_file_path.h5", key="your_dataset_key")

注意：该方法依赖pyarrow库，需要确保你的复合数据集能被pyarrow正确解析。

内容的提问来源于stack exchange，提问作者scotsman60