R语言循环下载GBIF空间观测数据遇记录数超限错误的解决问询

1. 精准限定欧洲地理范围，从源头减少返回量 #

GBIF实时查询的20万上限是单请求的记录数限制，先通过严格的地理过滤缩小范围，直接降低单物种的返回记录数，是最直接的解决方式。常用两种过滤方式：

• 使用欧洲边界框（bbox）：定义欧洲核心区域的经纬度范围，作为参数传入查询

  # 欧洲大致边界框：西经10°，北纬35°，东经30°，北纬70°
  europe_bbox <- c(-10, 35, 30, 70)
  # 单物种查询示例
  occ_data <- occ_search(scientificName = "Aquila chrysaetos", 
                         bbox = europe_bbox,
                         hasCoordinate = TRUE, # 仅保留带有效坐标的记录
                         limit = 200000)
  

• 指定欧洲国家ISO代码：用GBIF支持的国家代码列表，仅查询欧洲国家的记录，比边界框更精准（避免包含边缘区域的非欧洲记录）

  # 欧洲国家ISO代码列表（可按需补充）
  europe_countries <- c("AD", "AL", "AT", "AZ", "BE", "BA", "BG", "HR", "CY", "CZ", 
                        "DK", "EE", "FI", "FR", "DE", "GR", "HU", "IS", "IE", "IT", 
                        "KZ", "XK", "LV", "LI", "LT", "LU", "MT", "MD", "MC", "ME", 
                        "NL", "NO", "PL", "PT", "RO", "RU", "SM", "RS", "SK", "SI", 
                        "ES", "SE", "CH", "TR", "UA", "GB", "VA")
  # 单物种查询示例
  occ_data <- occ_search(scientificName = "Aquila chrysaetos", 
                         country = europe_countries,
                         hasCoordinate = TRUE,
                         limit = 200000)
  

2. 对单物种分批次分页获取 #

如果部分物种在欧洲的记录仍超过20万，用page参数分页循环获取所有数据，每次请求的记录数控制在20万以内：

get_occ_europe <- function(species_name) {
  europe_bbox <- c(-10, 35, 30, 70)
  # 先获取该物种在欧洲的总记录数
  total_records <- occ_search(scientificName = species_name, 
                              bbox = europe_bbox,
                              hasCoordinate = TRUE,
                              limit = 0)$meta$total
  if (total_records == 0) return(data.frame())
  
  all_data <- data.frame()
  # 每页取2万条（远低于20万上限，避免触发限制）
  pages <- ceiling(total_records / 20000)
  for (page in 1:pages) {
    batch <- occ_search(scientificName = species_name,
                        bbox = europe_bbox,
                        hasCoordinate = TRUE,
                        limit = 20000,
                        page = page)$data
    all_data <- rbind(all_data, batch)
    Sys.sleep(1) # 添加延迟，避免触发GBIF请求频率限制
  }
  return(all_data)
}

# 调用函数处理单个物种
golden_eagle_data <- get_occ_europe("Aquila chrysaetos")

3. 过滤冗余/非必要数据 #

通过额外过滤规则进一步减少返回记录量：

• 限定观测年份：只保留近期数据，比如近10年

  occ_data <- occ_search(scientificName = "Aquila chrysaetos", 
                         bbox = europe_bbox,
                         hasCoordinate = TRUE,
                         year = 2013:2023,
                         limit = 200000)
  

• 去重：移除重复的观测记录（相同坐标、日期、物种的重复条目）

  occ_data_clean <- occ_data$data[!duplicated(occ_data$data[, c("decimalLongitude", "decimalLatitude", "eventDate")]), ]
  

4. 使用GBIF异步下载服务（适合超大规模批量处理） #

如果280种鸟类的总数据量极大，实时查询的上限限制过多，改用GBIF的异步下载API——该服务无单请求记录数限制，适合批量处理大量物种：

library(rgbif)
# 读取你的280种鸟类物种列表
species_list <- read.csv("your_species_list.csv")$scientificName
# 创建批量下载请求：限定欧洲范围+目标物种+有效坐标
download_request <- occ_download(
  pred_in("scientificName", species_list),
  pred_bbox(-10, 35, 30, 70),
  pred("hasCoordinate", TRUE),
  format = "CSV"
)
# 等待下载任务完成（GBIF后台处理，需等待数分钟到数小时）
occ_download_wait(download_request)
# 导入下载完成的数据
download_data <- occ_download_get(download_request) %>% occ_download_import()

内容的提问来源于stack exchange，提问作者Fruuutz