NCBI Rentrez批量获取Biosample元数据HTTP 400超时问题求助

问题背景 #

循环处理约15000个Biosample ID时，仅处理300条左右就触发HTTP 400错误，调大httr超时参数仅小幅提升处理量，且因通过entrez_link循环获取ID无法使用webhistory，需要解决请求受限问题。

核心解决思路 #

1. 请求限流与错误重试 #

NCBI API存在请求频率限制，短时间高频请求会被服务器拒绝。通过添加请求延迟、捕获HTTP错误并重试，避免触发限流机制。

2. 批量请求替代单条循环 #

entrez_fetch支持一次性传入多个ID，大幅减少请求次数，降低被限流的概率。

3. 优化数据存储逻辑 #

避免在循环中频繁调用bind_rows，改用列表存储每条记录的dataframe，最后一次性合并，提升效率并减少内存波动。

4. 配置curl底层参数 #

除了httr的超时设置，还可以通过curl选项配置连接超时、重试次数等，增强请求稳定性。

优化后的代码 #

library(rentrez)
library(XML)
library(dplyr)
library(purrr)
library(httr)

# 自定义合并列函数
coacross <- function(...) {
  coalesce(!!!across(...))
}

# 查询语句
query_soil_metagenome <- '((((((("soil") AND "wgs"[Strategy]) NOT "amplicon"[Strategy]) AND "illumina"[Platform])) NOT amplicon)) AND "soil metagenome"[orgn:__txid410658]'
query_metagenome <- '((((((("soil") AND "wgs"[Strategy]) NOT "amplicon"[Strategy]) AND "illumina"[Platform])) NOT amplicon)) AND "metagenome"[orgn:__txid256318]'
query_plant_rhizosphere <- '((((((("soil") AND "wgs"[Strategy]) NOT "amplicon"[Strategy]) AND "illumina"[Platform])) NOT amplicon)) AND "rhizosphere metagenome"[orgn:__txid939928]'
query_plant_metagenome <- '((((((("soil") AND "wgs"[Strategy]) NOT "amplicon"[Strategy]) AND "illumina"[Platform])) NOT amplicon)) AND "rhizosphere metagenome"[orgn:__txid939928]'

# 获取SRA ID列表
soil_meta_srch <- entrez_search(db="sra", term = query_soil_metagenome, retmax=90000, use_history = T)
meta_srch <- entrez_search(db="sra", term = query_metagenome, retmax=90000)
plant_rhizo_srch <- entrez_search(db="sra", term = query_plant_rhizosphere, retmax=90000)
plant_meta_srch <- entrez_search(db="sra", term = query_plant_metagenome, retmax=90000)
all_ids <- c(soil_meta_srch$ids, meta_srch$ids, plant_rhizo_srch$ids, plant_meta_srch$ids)

# 批量获取Biosample ID（替代单条循环）
get_biosample_ids <- function(ids_chunk) {
  # 加入延迟避免限流
  Sys.sleep(1)
  tryCatch({
    temp <- entrez_link(dbfrom='sra', id = ids_chunk, db='biosample', by_id = T)
    unlist(temp$links$sra_biosample)
  }, error = function(e) {
    message(paste("获取Biosample ID失败：", e$message))
    return(NULL)
  })
}

# 分块处理SRA ID，每块20个
all_ids_chunks <- split(all_ids, ceiling(seq_along(all_ids)/20))
all_biosample_ids <- unlist(map(all_ids_chunks, get_biosample_ids))
all_biosample_ids <- unique(all_biosample_ids) # 去重重复的Biosample ID

# 批量解析Biosample元数据
parse_biosample <- function(biosample_id) {
  Sys.sleep(0.5) # 请求间隔，符合NCBI API限制
  tryCatch({
    # 配置curl参数：增加超时、重试次数
    temp <- entrez_fetch(db="biosample", id = biosample_id, rettype = "xml", 
                         config = config(timeout = 30, retry = 3, retry_delay = 2))
    temp_xml <- xmlToList(read_xml(temp))
    
    # 提取基础信息
    base_info <- data.frame(
      ID = biosample_id,
      accession_sra = temp_xml$BioSample$.attrs["accession"],
      access = temp_xml$BioSample$.attrs["access"],
      stringsAsFactors = FALSE
    )
    
    # 解析Attributes字段
    if (!is.null(temp_xml$BioSample$Attributes)) {
      unnest <- lapply(temp_xml$BioSample$Attributes, function(x) do.call(rbind, x))
      attr_df <- do.call(cbind, lapply(unnest, function(x) {
        data.frame(value = x[1,1], stringsAsFactors = FALSE) %>% 
          setNames(tolower(gsub(" ", "_", x[2,1])))
      }))
      # 合并基础信息和属性
      cbind(base_info, attr_df)
    } else {
      base_info
    }
  }, error = function(e) {
    message(paste("解析Biosample", biosample_id, "失败：", e$message))
    return(data.frame(ID = biosample_id, accession_sra = NA, access = NA, stringsAsFactors = FALSE))
  })
}

# 分块处理Biosample ID，每块50个
biosample_chunks <- split(all_biosample_ids, ceiling(seq_along(all_biosample_ids)/50))
records_list <- map(biosample_chunks, ~map_dfr(.x, parse_biosample))
records <- bind_rows(records_list)

# 合并重复列
combine_cols <- records %>%
  transmute(
    ID = ID,
    ena_first_public = coacross(starts_with("ena-first-public")),
    ena_last_update = coacross(contains("update")),
    lat = coacross(contains("latitude")),
    lon = coacross(contains("longitude"))
  )

records <- records %>%
  left_join(combine_cols, by = "ID") %>%
  select(-contains("ena-first-public"),
         -contains("update"),
         -contains("lat_lon"))

关键优化点说明 #

• 请求限流：在每次API调用后添加Sys.sleep，遵循NCBI API的请求频率限制（建议每秒不超过3次）。
• 批量处理：将ID分块批量传入entrez_link和entrez_fetch，减少请求次数，降低被限流的风险。
• 错误重试：通过tryCatch捕获错误，部分请求失败时不会中断整个流程，同时配置curl的retry参数自动重试失败请求。
• 内存优化：用列表存储每条记录的dataframe，最后一次性合并，避免循环中频繁修改dataframe带来的性能损耗。

内容的提问来源于stack exchange，提问作者Dylan Stephens