如何用pyarrow.read_csv为无表头大CSV指定列名与数据类型

我正好碰到过类似的场景，你的问题主要出在两个细节上：一是没给无表头CSV明确指定列名，二是column_types的取值格式不对（不能用字符串，得用PyArrow的类型实例）。下面给你两种实用的解决方案：

方法一：分开指定列名与类型 #

这种方式适合列数不多的情况，逻辑清晰直观：

import pyarrow as pa

# 1. 定义目标列名和对应PyArrow数据类型
target_columns = ["A", "B"]
type_mapping = {
    "A": pa.int8(),
    "B": pa.int8()
}

# 2. 配置转换选项：同时传入列名和类型映射
convert_opts = pa.csv.ConvertOptions(
    column_names=target_columns,  # 给无表头CSV指定列名
    column_types=type_mapping     # 绑定列名与对应类型
)

# 3. 读取CSV到Arrow表
table = pa.csv.read_csv("data.csv", convert_options=convert_opts)
print(table)

执行后你会看到表的列名已经变成A和B，数据类型也会是你指定的int8。

方法二：直接传入完整Schema对象 #

如果你的CSV列数较多，直接定义一个pa.Schema对象会更便于管理，把列名和类型一次性绑定：

import pyarrow as pa

# 1. 定义完整Schema：每个元组对应（列名，数据类型）
target_schema = pa.schema([
    ("A", pa.int8()),
    ("B", pa.int8())
])

# 2. 配置转换选项，直接传入schema
convert_opts = pa.csv.ConvertOptions(schema=target_schema)

# 3. 读取CSV到Arrow表
table = pa.csv.read_csv("data.csv", convert_options=convert_opts)
print(table)

这种方式的优势在于Schema可以复用，后续导出Parquet或者其他操作时也能直接使用。

关键注意事项 #

• 类型格式要正确：column_types的值必须是PyArrow的类型实例（比如pa.int8()、pa.string()、pa.float32()），不能用字符串"int8"，否则PyArrow会忽略你的类型设置，自动推断为默认类型（比如int64）。
• 无额外文件开销：这两种方法都不需要修改原CSV文件，完全在内存层面完成列名和类型的绑定，符合你不想产生不必要开销的需求。

后续导出Parquet与处理 #

得到正确的Arrow表后，导出Parquet和后续处理都很简单：

# 导出为Parquet文件
pa.parquet.write_table(table, "data.parquet")

# Pandas读取处理
import pandas as pd
df = pd.read_parquet("data.parquet")

# Dask读取处理（适合超大型文件）
import dask.dataframe as dd
ddf = dd.read_parquet("data.parquet")

内容的提问来源于stack exchange，提问作者azo91