R语言将复杂嵌套JSON转换为无列表列数据框的实现问题
可直接运行的R语言嵌套JSON全流程扁平化方案
核心思路:不强行对多层嵌套的原始JSON做整体宽表转换,按数据粒度拆成3类独立子表,逐层出嵌套、通过公共关联键(rcsb_id)保留字段关联关系,从根源避免行膨胀、列丢失问题。
第一步:预处理原始返回的JSON解析对象
基于你提供的请求代码,拿到pdb_query_list后先做前置清洗,解决NULL值导致的列丢失问题:
# 从API返回结构中提取核心entries层级,剥离外层无关字段 entries_df <- pdb_query_list$data$entries %>% # 所有值为NULL的字段,替换为1行空tibble,保证行长度和主表一致 purrr::modify(~ if(is.null(.x)) tibble(.rows = 1) else .x)
关键注意:不要把NULL直接替换为NA值——空列表和1行空tibble的行长度匹配,后续unnest操作不会因为长度不等丢弃整列。
第二步:逐表扁平化,解决嵌套列无法展开的问题
按数据粒度拆成3个独立子表,所有操作逐层级执行,不依赖自动展开:
1. 基础信息子表(粒度:每个PDB ID对应1行)
base_info <- entries_df %>% # 逐路径用hoist提取嵌套字段,避免直接unnest的结构识别错误 tidyr::hoist(exptl, exptl_method = "method") %>% tidyr::hoist(struct_keywords, pdbx_keywords = "pdbx_keywords") %>% tidyr::hoist( exptl_crystal_grow, crystal_grow_ph = "pH", crystal_grow_temp = "temp", crystal_grow_method = "method" ) %>% tidyr::hoist( rcsb_binding_affinity, binding_comp_id = "comp_id", binding_value = "value" ) %>% tidyr::hoist( rcsb_entry_info, entry_exptl_method = "experimental_method", assembly_count = "assembly_count", resolution_combined = "resolution_combined", metalic_bond_count = "inter_mol_metalic_bond_count" ) %>% tidyr::hoist( pdbx_nmr_exptl_sample_conditions, nmr_ionic_strength = "ionic_strength", nmr_ph = "pH", nmr_temp = "temperature" ) %>% tidyr::hoist(pdbx_nmr_refine, nmr_refine_method = "method") %>% tidyr::hoist(pdbx_nmr_exptl, nmr_exptl_type = "type") %>% # 删掉已经提取完成的原嵌套列 dplyr::select(-c(exptl, struct_keywords, exptl_crystal_grow, rcsb_binding_affinity, rcsb_entry_info, pdbx_nmr_exptl_sample_conditions, pdbx_nmr_refine, pdbx_nmr_exptl))
2. 非聚合物实体子表(粒度:每个小分子/配体对应1行)
nonpoly_info <- entries_df %>% dplyr::select(rcsb_id, nonpolymer_entities) %>% # 加keep_empty参数:某PDB无对应非聚合物实体时,保留行并补NA tidyr::unnest(nonpolymer_entities, keep_empty = TRUE) %>% tidyr::hoist( rcsb_nonpolymer_entity_container_identifiers, nonpoly_auth_asym_ids = "auth_asym_ids", nonpoly_entry_id = "entry_id" ) %>% tidyr::hoist( nonpolymer_comp$chem_comp, chem_comp_id = "id", chem_comp_type = "type", chem_formula_weight = "formula_weight", chem_name = "name", chem_formula = "formula" ) %>% dplyr::select(-c(rcsb_nonpolymer_entity_container_identifiers, nonpolymer_comp))
这里解决“表面只有2个变量、view时全是嵌套”的问题:不要直接对嵌套列做整体unnest,通过
hoist明确指定嵌套字段的提取路径,R不会因为动态变化的列表结构识别失败。
3. 聚合物实体子表(粒度:每个蛋白/核酸聚合物对应1行)
poly_info <- entries_df %>% dplyr::select(rcsb_id, polymer_entities) %>% tidyr::unnest(polymer_entities, keep_empty = TRUE) %>% tidyr::hoist(entity_poly, entity_seq = "pdbx_seq_one_letter_code_can") %>% tidyr::hoist( rcsb_entity_source_organism, source_organism = "ncbi_scientific_name", source_tax_id = "ncbi_taxonomy_id" ) %>% tidyr::hoist( rcsb_polymer_entity_container_identifiers, poly_entry_id = "entry_id", poly_auth_asym_ids = "auth_asym_ids" ) %>% tidyr::hoist( rcsb_polymer_entity_align, align_ref_acc = "reference_database_accession", align_ref_db = "reference_database_name" ) %>% tidyr::hoist( uniprots, uniprot_id = list("rcsb_uniprot_container_identifiers", "uniprot_id"), uniprot_protein_name = list("rcsb_uniprot_protein", "name", "value") ) %>% dplyr::select(-c(entity_poly, rcsb_entity_source_organism, rcsb_polymer_entity_container_identifiers, rcsb_polymer_entity_align, uniprots))
第三步:关联合并,验证全扁平化结果
三个子表粒度不同,不强行合并为单张宽表,通过公共键rcsb_id分别关联,避免行重复膨胀:
# 关联基础表和非聚合物子表 nonpoly_final <- base_info %>% dplyr::left_join(nonpoly_info, by = "rcsb_id") # 关联基础表和聚合物子表 poly_final <- base_info %>% dplyr::left_join(poly_info, by = "rcsb_id")
验证方法
运行以下代码检查是否还存在嵌套列:
# 所有返回FALSE即代表无嵌套列,完全扁平化 purrr::map_lgl(nonpoly_final, is.list) purrr::map_lgl(poly_final, is.list)
核心踩坑对应解法
- 含NULL列被丢弃:不要直接替换为NA,提前把NULL转成1行空tibble,unnest时加
keep_empty = TRUE参数,保证结构行长度匹配 - 嵌套列无法展开:不依赖工具自动识别嵌套结构,手动用
hoist按JSON字段路径逐列提取,避免动态JSON结构识别错误 - 强行合并导致行膨胀:按粒度拆分子表,通过公共关联键保联,不把多粒度数据揉成单张宽表
内容的提问来源于stack exchange,提问作者jpquast
相关产品推荐
相关产品推荐

