如何将从S3读取的Parquet文件中arrow_binary类型转为字符串？

有两种常用方法可以将arrow_binary类型的列转为字符串类型，具体如下：

方法一：读取时直接指定列类型 #

在调用read_parquet()函数时，通过参数提前定义目标列的类型，避免读取后再转换：

使用col_types参数 #

如果明确知道哪些列是arrow_binary类型，直接指定它们为字符串类型：

library(arrow)

# 定义列类型规则，将需要转换的列设为col_string()
col_spec <- list(
  user_id = col_string(),
  product_name = col_string(),
  # 其他列可保持默认或按需指定类型
)

# 读取S3上的Parquet文件并应用列类型定义
df <- read_parquet("s3://your-bucket/path/to/target_file.parquet", col_types = col_spec)

使用schema参数 #

如果需要更精细的类型控制，可先创建Arrow Schema对象再传入读取函数：

library(arrow)

# 创建自定义Schema，指定目标列为string类型
custom_schema <- schema(
  user_id = string(),
  product_name = string(),
  # 其他列按实际数据类型定义
)

# 读取文件时应用自定义Schema
df <- read_parquet("s3://your-bucket/path/to/target_file.parquet", schema = custom_schema)

方法二：读取后批量转换列 #

如果已经完成文件读取，可批量将所有arrow_binary类型的列转为字符串：

默认UTF-8编码转换 #

结合dplyr和arrow的类型判断函数快速批量转换：

library(arrow)
library(dplyr)

# 批量转换所有arrow_binary类型的列为字符串
df <- df %>%
  mutate(across(where(is_arrow_binary), as.character))

指定编码转换 #

若binary数据使用非UTF-8编码（如UTF-16、GBK），可在转换时指定编码：

df <- df %>%
  mutate(across(where(is_arrow_binary), ~as.character(.x, encoding = "GBK")))

使用Arrow原生cast()函数转换 #

用arrow包自带的cast()函数，更贴合Arrow类型系统：

df <- df %>%
  mutate(across(where(is_arrow_binary), ~cast(.x, string())))

内容的提问来源于stack exchange，提问作者Stuart