sparklyr读取Parquet时字符串字段被识别为列表的问题

我之前在处理Hive生成的Parquet文件时，也碰到过类似的sparklyr读取异常问题——明明是字符串字段，读出来却变成了无法识别的列表。结合我的踩坑经验，给你几个可行的排查和解决方向：

首先得确认这个“不听话”的文件，它的字段类型是不是和其他正常文件不一样。Hive有时候会把字符串以chararray的格式存储，而sparklyr的自动Schema推断逻辑对这种非标准格式容易出错。

你可以用sparklyr先跳过Schema推断，读取文件的元信息看看：

# 连接Spark会话（如果还没连的话）
sc <- spark_connect(master = "local")
# 读取元数据，不自动推断Schema
meta_df <- spark_read_parquet(sc, path = "path/to/your/abnormal_file.parquet", infer_schema = FALSE)
# 打印字段类型
print(meta_df$schema)

如果看到hospital_name的类型是array<tinyint>或者其他奇怪的数组类型，那基本就是Hive序列化的锅了。

既然自动推断不靠谱，咱们就自己定义正确的Schema，让sparklyr按照咱们指定的类型解析：

# 定义符合你数据的Schema，比如你的表有hospital_name（字符串）和其他double类型字段
custom_schema <- struct_type(
  struct_field("hospital_name", "string"),
  struct_field("your_double_col1", "double"),
  struct_field("your_double_col2", "double")
)
# 用指定Schema读取文件
fixed_df <- spark_read_parquet(sc, path = "path/to/your/abnormal_file.parquet", schema = custom_schema)
# 验证结果
head(fixed_df)

这种方法能直接绕过自动推断的问题，强制Spark用正确的类型解析字段，我之前用这个解决过好几个类似的问题。

如果这个文件是从Hive表导出的，你可以尝试在Hive里重新导出一次，确保用标准的Parquet序列化格式：

-- 在Hive中重新导出目标数据为标准Parquet
INSERT OVERWRITE DIRECTORY '/path/to/new_standard_parquet'
ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
STORED AS INPUTFORMAT 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'
SELECT * FROM your_hive_table WHERE ...; -- 筛选出对应异常文件的分区或数据

重新导出后的文件，sparklyr读取时就不会出现类型混乱了。

如果已经读取了异常的DataFrame，想临时救急把列表转成字符串，可以试试Spark的内置函数。比如如果列表是字符串对应的字节数组，可以用cast或者concat_ws：

# 方法1：直接强制转换为字符串
fixed_df <- df %>%
  mutate(hospital_name = cast(hospital_name, "string"))

# 方法2：如果是字节数组列表，拼接成字符串
fixed_df <- df %>%
  mutate(hospital_name = concat_ws("", hospital_name))

不过这个是权宜之计，还是建议从Schema或者文件生成的根源解决问题，避免后续再出问题。

内容的提问来源于stack exchange，提问作者bshelt141