R导出Parquet文件后日期时间字段在外部查看器显示为数字问题咨询
R导出Parquet文件外部查看工具日期格式异常解决方法
问题背景
我有如下测试用tibble:
library(readr) library(arrow) # testFyl 原本通过 readr::read_csv() 读取csv文件生成 testFyl <- structure(list( BILL_NO = c("36/2015-16", "39/15-16", "771", "254", "731", "610", "200", "23 /2015-16", "21/2015-16", "30/15-16"), BILL_DT_TIME = structure(c(1438021800, 1436898600, 1438021800, 1436293800, 1437935400, 1437589800, 1436207400, 1438108200, 1437676200, 1437330600), class = c("POSIXct", "POSIXt"), tzone = "UTC"), BILL_DT = structure(c(16643, 16630, 16643, 16623, 16642, 16638, 16622, 16644, 16639, 16635), class = "Date")), spec = structure(list(cols = list(BILL_NO = structure(list(), class = c("collector_character", "collector")), BILL_DT_TIME = structure(list(format = ""), class = c("collector_datetime", "collector")), BILL_DT = structure(list(format = ""), class = c("collector_date", "collector"))), default = structure(list(), class = c("collector_guess", "collector")), delim = ","), class = "col_spec"), row.names = c(NA, -10L), class = c("spec_tbl_df", "tbl_df", "tbl", "data.frame"))
数据集展示效果如下:
# A tibble: 10 x 3 BILL_NO BILL_DT_TIME BILL_DT <chr> <dttm> <date> 1 36/2015-16 2015-07-27 18:30:00 2015-07-27 2 39/15-16 2015-07-14 18:30:00 2015-07-14 3 771 2015-07-27 18:30:00 2015-07-27 4 254 2015-07-07 18:30:00 2015-07-07 5 731 2015-07-26 18:30:00 2015-07-26 6 610 2015-07-22 18:30:00 2015-07-22 7 200 2015-07-06 18:30:00 2015-07-06 8 23 /2015-16 2015-07-28 18:30:00 2015-07-28 9 21/2015-16 2015-07-23 18:30:00 2015-07-23 10 30/15-16 2015-07-19 18:30:00 2015-07-19
其中BILL_DT列是BILL_DT_TIME列去除时间信息后的日期值。
通过如下代码导出为Parquet格式:
write_parquet(testFyl, "testFyl.parquet")
在R中用read_parquet("testFyl.parquet")读取文件完全正常,和原数据一致,但在两款外部Parquet查看工具中打开时,日期/时间列显示为原始数值:
- ParquetViewer 工具中
BILL_DT_TIME列显示为数字,BILL_DT日期列识别正常 - Bigdata File Viewer 工具中
BILL_DT_TIME和BILL_DT两列均显示为数字,数值和dput输出的底层存储值一致
问题原因
这个问题的核心是Parquet格式的逻辑类型解析差异:
R的arrow包导出时,会将Date类型存储为标注了DATE逻辑类型的INT32整数,将POSIXct时间类型存储为标注了TIMESTAMP逻辑类型的INT64整数。部分轻量Parquet查看工具仅实现了DATE逻辑类型的解析,未支持TIMESTAMP逻辑类型的解析,只会直接读取底层存储的整数值显示,就会出现无法理解的数字。
解决方案
方案1:全兼容转换(适配所有查看工具)
导出前将时间列格式化为人类可读的字符串,所有查看工具都可以直接识别显示:
library(dplyr) testFyl_export <- testFyl %>% mutate( # 将时间列转为固定格式字符串 BILL_DT_TIME = format(BILL_DT_TIME, "%Y-%m-%d %H:%M:%S"), # 若需要也可将日期列转为字符串,否则保留原类型即可 BILL_DT = as.character(BILL_DT) ) write_parquet(testFyl_export, "testFyl_compatible.parquet")
该方案优势是无需依赖查看工具的类型支持,劣势是R读回文件后需要手动将字符串转回时间/日期类型,适合以外部工具查看为主要使用场景的情况。
方案2:调整导出参数(保留原生类型)
如果需要兼顾R中使用的便利性,可调整arrow导出的时间戳单位,适配更多支持TIMESTAMP类型的查看工具:
write_parquet( testFyl, "testFyl.parquet", # 指定时间戳存储为毫秒级,兼容更多工具的解析规则 options = parquet_options(timestamp_unit = "ms") )
该方案优势是R读回文件后仍为原生时间/日期类型,无需二次转换,适合R和外部工具都需要使用的场景。
后续更新
ParquetViewer开发者已发布更新版本,支持时间戳类型的自动解析,升级到最新版本即可直接查看原生导出的Parquet文件,无需额外转换。
内容的提问来源于stack exchange,提问作者San
相关产品推荐
相关产品推荐

