如何用Python Polars生成可被MATLAB读取的Parquet文件

以下是针对该问题的具体解决方法，可逐一排查验证：

• 指定兼容的Parquet版本
  MATLAB的parquetread对Parquet 2.0版本的支持可能存在兼容性问题，可强制生成1.0版本的文件：

  import polars as pl
  
  df = pl.DataFrame(...)
  df.write_parquet("compatible_file.parquet", version="1.0")
  

• 替换MATLAB不兼容的数据类型
  Polars的nullable类型（如pl.Int32(nullable=True)）、无符号整数类型（如pl.UInt8）可能导致读取失败，可转换为基础类型或填充默认值：

  # 填充nullable类型的默认值并转为非nullable
  df = df.with_columns([
      pl.col(col).fill_default() if col.dtype.is_nullable() else pl.col(col)
      for col in df.columns
  ])
  # 显式转换无符号类型为有符号类型
  df = df.with_columns(pl.col("uint_column").cast(pl.Int16))
  

• 调整压缩格式
  部分MATLAB版本对zstd压缩支持有限，可切换为snappy或gzip压缩：

  # 使用snappy压缩
  df.write_parquet("compatible_file.parquet", compression="snappy")
  # 或使用gzip压缩
  df.write_parquet("compatible_file.parquet", compression="gzip")
  

• 禁用字典编码
  字典编码的列可能触发MATLAB读取异常，可全局关闭字典编码：

  df.write_parquet("compatible_file.parquet", use_dictionary=False)
  

• 规范列名格式
  MATLAB对包含空格、特殊符号或非ASCII字符的列名支持不佳，可替换为符合规范的命名：

  # 将特殊字符替换为下划线
  df = df.rename({
      col: col.replace(" ", "_").replace("-", "_").replace("?", "_")
      for col in df.columns
  })
  

• 切换为PyArrow写入引擎
  改用PyArrow作为底层写入引擎，生成兼容性更好的Parquet文件：

  df.write_parquet("compatible_file.parquet", engine="pyarrow")
  

可尝试组合上述方法（如同时指定Parquet 1.0版本、snappy压缩、PyArrow引擎），逐步定位并解决兼容性问题。

内容的提问来源于stack exchange，提问作者Saaru Lindestøkke