如何在R中导入JSON数据集,将逐行JSON样本转为data frame
逐行JSON导入R生成数据框的实现步骤
你提供的样本是标准的逐行独立JSON(JSON Lines)格式,无需将零散的JSON对象拼接为标准数组结构,可通过以下两种常用方案直接解析为data frame:
方案1:通用流式解析(适合大文件)
该方法不需要一次性将全部数据读入内存,支持GB级别的大体积逐行JSON文件读取:
- 第一步:安装并加载通用JSON解析包
# 安装包(仅首次使用运行) install.packages("jsonlite") # 加载包 library(jsonlite)
- 第二步:逐行读取JSON文件并生成数据框
# 替换为你本地逐行JSON文件的实际路径 df <- stream_in(file("你的本地文件路径.json"))
方案2:逐行批量解析(适合小文件)
小数据量场景下可直接将所有行读取后批量解析,代码逻辑更直观:
- 第一步:读取所有JSON行内容
# 替换为你本地逐行JSON文件的实际路径 json_lines <- readLines("你的本地文件路径.json")
- 第二步:逐行解析并合并为结构化数据框
library(dplyr) df <- json_lines |> lapply(parse_json, simplifyVector = TRUE) |> bind_rows()
解析效果说明
- 解析过程会自动将JSON中的
null值识别为R环境中的NA空值,和你样本中gender、income字段存在空值的场景完全匹配 - 字段类型自动匹配:
age、income转为数值型,gender、id、became_member_on转为字符型 - 若需将
became_member_on字段转为标准日期格式,可在解析完成后执行df$became_member_on <- as.Date(df$became_member_on, format = "%Y%m%d")完成格式转换 - 可直接运行以下代码验证你提供的7行样本的解析效果:
# 内置你提供的样本内容做测试 sample_lines <- c( '{"gender": "M", "age": 68, "id": "e2127556f4f64592b11af22de27a7932", "became_member_on": "20180426", "income": 70000}', '{"gender": null, "age": 118, "id": "8ec6ce2a7e7949b1bf142def7d0e0586", "became_member_on": "20170925", "income": null}', '{"gender": null, "age": 118, "id": "68617ca6246f4fbc85e91a2a49552598", "became_member_on": "20171002", "income": null}', '{"gender": "M", "age": 65, "id": "389bc3fa690240e798340f5a15918d5c", "became_member_on": "20180209", "income": 53000}', '{"gender": null, "age": 118, "id": "8974fc5686fe429db53ddde067b88302", "became_member_on": "20161122", "income": null}', '{"gender": null, "age": 118, "id": "c4863c7985cf408faee930f111475da3", "became_member_on": "20170824", "income": null}', '{"gender": null, "age": 118, "id": "148adfcaa27d485b82f323aaaad036bd", "became_member_on": "20150919", "income": null}' ) df <- sample_lines |> lapply(parse_json, simplifyVector = TRUE) |> bind_rows()
内容的提问来源于stack exchange,提问作者Gregory Haben
相关产品推荐
相关产品推荐

