You need to enable JavaScript to run this app. 如何基于edgarWebR批量获取多CIK对应的企业EDGAR申报备案信息
优惠活动
大模型
产品
解决方案
定价
更多

如何基于edgarWebR批量获取多CIK对应的企业EDGAR申报备案信息

edgarWebR批量采集可落地方案

核心问题本质

edgarWebR包提供的company_filings、filing_information两个核心函数,内置了单值入参的硬校验,仅支持单个CIK、单个备案链接的请求调用,直接传入向量会触发length(url) == 1 is not TRUE类的报错,无法直接批量处理数千规模的CIK采集需求。

实现逻辑

通过外层安全迭代包裹单值入参的原函数,在不修改包源码的前提下绕开单值校验,同时加入异常捕获、访问限速、结果绑定的逻辑,保证批量流程稳定运行。

分步操作代码

1. 批量采集全量CIK的企业备案清单

首先封装带异常捕获、访问限速的单CIK采集函数,避免单条请求失败中断全流程,同时满足EDGAR平台的反爬访问要求:

library(edgarWebR)
library(purrr)
library(dplyr)

# 安全版单CIK采集函数
safe_get_company_filings <- function(cik, before = "20201231", type = "10-K", count = 100, page = 1) {
  # 按EDGAR要求设置100ms访问间隔,避免触发IP封禁
  Sys.sleep(0.1)
  tryCatch(
    expr = {
      company_filings(
        cik = cik,
        before = before,
        type = type,
        count = count,
        page = page
      )
    },
    error = function(e) {
      # 采集失败时返回空数据框,记录错误日志不中断流程
      message(paste("CIK:", cik, "采集失败,错误信息:", e$message))
      return(tibble())
    }
  )
}

将存储的数千CIK转为字符串格式(避免数值型存储丢失CIK的前导零),批量遍历完成全量采集,同时绑定来源CIK字段方便后续溯源:

# 替换为你数据集里实际的CIK字段
cik_vec <- as.character(your_dataset$cik_column)

# 批量遍历采集所有企业的备案清单
all_filing_list <- map_dfr(
  .x = cik_vec,
  .f = ~safe_get_company_filings(
    cik = .x,
    before = "20201231",
    type = "10-K",
    count = 100
  ),
  .id = "source_cik"
)

2. 批量解析所有备案链接的详细信息

用相同的迭代逻辑,封装安全版的备案信息解析函数,批量处理上一步采集到的href字段链接:

# 安全版单链接解析函数
safe_get_filing_info <- function(filing_url) {
  Sys.sleep(0.1)
  tryCatch(
    expr = filing_information(filing_url),
    error = function(e) {
      message(paste("链接:", filing_url, "解析失败,错误信息:", e$message))
      return(tibble())
    }
  )
}

# 批量解析所有备案的详细信息
all_filing_detail <- map_dfr(
  .x = all_filing_list$href,
  .f = ~safe_get_filing_info(.x)
)

优化注意事项

  • 访问速率控制:EDGAR平台要求请求速率不超过每秒10次,代码中设置的0.1秒访问间隔不可随意调低,否则会被临时封禁IP
  • 断点存储:针对数千CIK的大规模采集场景,建议每累计采集100条结果就将内容写入本地CSV文件,避免程序意外中断后需要从头重新采集
  • 进度可视化:可搭配进度条工具实时查看采集进度,降低长时间等待的排查成本

内容的提问来源于stack exchange,提问作者Sharif

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.02 14:54:02