Python中Polars大型DataFrame高效转置的最优方案咨询

修复pyarrow转置报错 #

你碰到的pa.Table has no module pyarrow错误是调用方式问题，和pyarrow安装无关。正确的Polars+pyarrow转置流程如下：

import polars as pl
import pyarrow as pa

# 读取单个拆分后的CSV
df = pl.read_csv("your_small_csv.csv")
# 转换为pyarrow Table
pa_table = df.to_arrow()
# 执行转置
transposed_pa = pa_table.transpose()
# 转回Polars DataFrame
transposed_df = pl.from_arrow(transposed_pa)

这个流程能利用pyarrow的高效内存管理，同时避免Polars原生转置的内存压力。

批量处理的低内存优化方案 #

针对你拆分的500个小文件，不要将所有转置后的数据存入列表，改用「读取-转置-增量写入」的流水线模式，大幅降低内存占用：

1. 批量转置并写入Parquet #

import polars as pl
import pyarrow as pa
import os

# 创建转置文件存储目录
os.makedirs("transposed_parquets", exist_ok=True)

csv_dir = "your_small_csvs_dir"
for idx, filename in enumerate(os.listdir(csv_dir)):
    if not filename.endswith(".csv"):
        continue
    # 读取CSV时指定dtypes减少内存浪费（根据实际列类型调整）
    df = pl.read_csv(
        os.path.join(csv_dir, filename),
        dtypes={f"col_{i}": pl.Float64 for i in range(300)},  # 示例：假设300列都是浮点数
        memory_map=True  # 启用内存映射，降低内存占用
    )
    # 转置流程
    pa_table = df.to_arrow()
    transposed_pa = pa_table.transpose()
    transposed_df = pl.from_arrow(transposed_pa)
    # 写入Parquet（启用pyarrow优化）
    transposed_df.write_parquet(
        f"transposed_parquets/transposed_{idx}.parquet",
        use_pyarrow=True,
        compression="snappy"  # 可选：用snappy压缩进一步减小文件体积
    )

2. 合并转置后的文件 #

用Polars的懒加载功能合并所有转置后的Parquet，避免一次性加载全部数据：

# 懒加载所有转置后的Parquet文件
lazy_dfs = [
    pl.scan_parquet(f"transposed_parquets/transposed_{idx}.parquet")
    for idx in range(500)
]
# 纵向合并得到最终的20万行×2500列数据
final_lazy_df = pl.concat(lazy_dfs, how="vertical")
# 写入最终文件或直接执行后续解析
final_lazy_df.write_parquet("final_transposed_data.parquet")

额外优化建议 #

• 指定dtypes：读取CSV时明确列的类型，避免Polars自动推断导致的内存冗余（比如把整数误判为字符串）。
• 内存映射：memory_map=True让Polars直接从磁盘读取数据，无需加载全部到内存。
• 压缩选项：写入Parquet时用compression="snappy"或"zstd"，平衡压缩比和速度。

这个方案的内存占用会远低于你之前的测试方案，且转置效率会优于直接处理CSV的方式，因为pyarrow的转置实现更高效，同时流水线模式避免了内存瓶颈。

内容的提问来源于stack exchange，提问作者Amohanty