如何在R Arrow中更新Schema，修改指定列的数据类型？

R Arrow 实现步骤 #

1. 修改已有Schema中的指定列类型 #

你已通过样本文件获取Schema，可按以下方式将trade_id列的类型从int64改为string：

library(arrow)

# 基于已获取的样本Schema（变量名sch）修改字段
updated_fields <- lapply(sch$fields, function(field) {
  if (field$name == "trade_id") {
    # 替换为字符串类型
    field(field$name, string())
  } else {
    # 保留其他字段的原有类型
    field
  }
})

# 构造更新后的Schema
new_sch <- do.call(schema, updated_fields)

2. 使用更新后的Schema读取所有文件 #

用修改后的Schema调用open_dataset()，确保所有CSV文件按统一类型解析：

# 替换为你的CSV文件所在文件夹路径
dataset <- open_dataset(
  source = "path/to/your/csv/files",
  format = "csv",
  schema = new_sch,
  # 根据实际情况设置分隔符、压缩格式等参数
  delim = ",",
  compression = "gzip"
)

PyArrow 参考方案 #

若需要参考Python实现，步骤如下：

1. 修改Schema #

import pyarrow as pa
import pyarrow.csv as csv

# 读取样本文件获取原始Schema
sample_table = csv.read_csv("data.csv.gz")
original_schema = sample_table.schema

# 修改trade_id字段类型为字符串
new_fields = []
for field in original_schema:
    if field.name == "trade_id":
        new_fields.append(pa.field("trade_id", pa.string()))
    else:
        new_fields.append(field)
updated_schema = pa.schema(new_fields)

# 更简洁的写法：通过字段索引替换
# trade_id_idx = original_schema.get_field_index("trade_id")
# updated_schema = original_schema.set(trade_id_idx, pa.field("trade_id", pa.string()))

2. 读取多文件数据集 #

dataset = pa.dataset.dataset(
    source = "path/to/your/csv/files",
    format = "csv",
    schema = updated_schema
)

内容的提问来源于stack exchange，提问作者Matthew Son