如何将多级索引/列DataFrame转成的PyArrow表列精度改为float32

你遇到的报错是两个原因共同导致的：

• 手动构造的schema中字段名是人工写的字符串"('a',100)"，和pandas MultiIndex列转换为pyarrow时自动生成的字段名规则虽然看起来一致，但手动拼写容易出现格式偏差
• pa.Table.from_pandas默认会保留DataFrame的行索引作为表的字段，你自定义的schema中没有包含行索引对应的两个字段name和number，因此匹配失败

给你三种可行方案，按实现复杂度从低到高排序：

方案1：先在pandas侧转换类型再转PyArrow（最省事） #

直接把DataFrame的所有数值列转为float32后再生成PyArrow表，不需要手动处理schema：

import pandas as pd
import pyarrow as pa

# 你的原有df构造代码
df = pd.DataFrame({"col1": [1.0, 2.0],  "col2": [2.3, 2.4]})
df.columns = pd.MultiIndex.from_tuples([('a',100),('b',200)], names=('name', 'number'))
df.index = pd.MultiIndex.from_tuples([('a',100),('b',200)], names=('name', 'number'))

# 新增：所有数据列转float32
df = df.astype('float32')

# 直接转换即可，自动对应PyArrow的float32类型
table = pa.Table.from_pandas(df)

方案2：已有PyArrow表的情况下批量cast类型 #

如果已经生成了double类型的PyArrow表，可以直接批量转换所有浮点列到float32，不需要关心列名和索引字段：

# 遍历原schema所有字段，仅将float64类型替换为float32，其余字段保持不变
new_schema = pa.schema([
    pa.field(f.name, pa.float32()) if f.type == pa.float64() else f 
    for f in table.schema
])

# 执行类型转换
table_float32 = table.cast(new_schema)

方案3：正确构造自定义schema实现转换 #

如果你需要严格指定schema，按如下方式构造即可避免匹配错误：

# 1. 构造行索引对应的字段，和你设置的索引名称、类型一一对应
index_fields = [
    pa.field('name', pa.string()),
    pa.field('number', pa.int64())
]
# 2. 自动遍历所有数据列构造float32字段，避免手动写列名出错
data_fields = [pa.field(str(col), pa.float32()) for col in df.columns]
# 3. 合并为完整schema
custom_schema = pa.schema(index_fields + data_fields)

# 转换时传入schema即可
table = pa.Table.from_pandas(df, schema=custom_schema)

内容的提问来源于stack exchange，提问作者abisko