批量获取StatCan页面2019-2024年月度版本及R脚本优化咨询

需求背景 #

需要获取2019年1月至2024年9月某StatCan数据页面的所有历史版本，但网站默认仅支持逐个查看单月数据。

链接参数规律分析 #

通过对页面URL的拆解，发现可通过调整时间参数直接访问对应月份的历史页面：

• 单月页面通过referencePeriods=YYYYMM01%2CYYYYMM01参数锁定时间范围
• 直接下载CSV的链接则可通过修改startDate和endDate参数（格式为YYYYMM01）实现单月数据下载

拟采用的批量获取策略 #

1. 生成2019年1月至2024年9月每个月份对应的下载URL向量，替换时间参数
2. 使用R的download.file()下载每个URL对应的CSV临时文件
3. 读取所有文件并纵向合并数据

疑问 #

1. 上述策略是否可行？
2. 网站本身是否提供更简便的批量获取方式？
3. 当前编写的R脚本是否有更简洁的实现方式？

当前R脚本 #

library(dplyr)
library(purrr)
library(readr)
library(lubridate)

generate_urls <- function(start_date, end_date) {
    dates <- seq(start_date, end_date, by = "month")
    
    urls <- map_chr(dates, function(date) {
        start_date <- format(date, "%Y%m01")
        end_date <- format(date, "%Y%m01")
        
        paste0(
            "https://www150.statcan.gc.ca/t1/tbl1/en/dtl!downloadDbLoadingData-nonTraduit.action?pid=1410028703",
            "&latestN=0",
            "&startDate=", start_date,
            "&endDate=", end_date,
            "&csvLocale=en",
            "&selectedMembers=%5B%5B1%2C2%2C3%2C4%2C5%2C6%2C7%2C8%2C9%2C10%2C11%5D%2C",
            "%5B1%2C2%2C3%2C4%2C5%2C6%2C7%2C8%2C9%5D%2C%5B1%5D%2C%5B1%5D%2C%5B1%5D%2C%5B1%5D%5D",
            "&checkedLevels="
        )
    })
    
    return(urls)
}

urls <- generate_urls(as.Date("2019-01-01"), as.Date("2024-09-01"))

download_and_process <- function(url) {
    temp_file <- tempfile(fileext = ".csv")
    download.file(url, temp_file, mode = "wb")
    
    data <- read_csv(temp_file, skip = 0) %>%
        mutate(Date = ymd(REF_DATE))
    
    unlink(temp_file)
    return(data)
}

all_data <- map_dfr(urls, download_and_process)

write_csv(all_data, "combined_statcan_data.csv")

解答与优化建议 #

策略可行性 #

你的批量获取策略完全可行：

• StatCan这类官方数据接口普遍支持通过URL参数指定时间范围，只要参数格式匹配，就能精准返回对应月份的数据
• 临时文件下载+合并的逻辑能避免本地存储冗余文件，同时保证数据的完整性

网站是否有更简便的方式 #

从该页面的特性来看，它属于按月更新的增量数据集，StatCan通常不会直接提供跨多年的批量下载选项。你当前通过构造URL参数的方式，是这类场景下最直接有效的解决方案。

R脚本优化方案 #

可以从可读性、效率和精简度三个维度优化脚本：

1. 简化URL生成：用glue替代paste0，让URL模板更直观；同时避免变量名冲突
2. 并行下载提速：用furrr实现并行下载，大幅减少等待时间
3. 跳过临时文件：直接从URL读取CSV，省去文件写入/删除步骤
4. 精简代码结构：利用管道和匿名函数缩短代码长度

优化后的脚本示例：

library(dplyr)
library(furrr)
library(readr)
library(lubridate)
library(glue)

# 初始化并行计算环境
plan(multisession)

# 生成所有月份的下载URL
dates <- seq(as.Date("2019-01-01"), as.Date("2024-09-01"), by = "month")
urls <- glue("https://www150.statcan.gc.ca/t1/tbl1/en/dtl!downloadDbLoadingData-nonTraduit.action?pid=1410028703&latestN=0&startDate={format(dates, '%Y%m01')}&endDate={format(dates, '%Y%m01')}&csvLocale=en&selectedMembers=%5B%5B1%2C2%2C3%2C4%2C5%2C6%2C7%2C8%2C9%2C10%2C11%5D%2C%5B1%2C2%2C3%2C4%2C5%2C6%2C7%2C8%2C9%5D%2C%5B1%5D%2C%5B1%5D%2C%5B1%5D%2C%5B1%5D%5D&checkedLevels=")

# 并行下载并合并数据
all_data <- future_map_dfr(urls, ~{
  read_csv(.x, skip = 0) %>%
    mutate(Date = ymd(REF_DATE))
})

# 保存合并后的结果
write_csv(all_data, "combined_statcan_data.csv")

额外注意事项 #

• 控制请求频率，避免短时间内发起大量请求导致被网站限流
• 可添加tryCatch错误处理逻辑，防止单个URL下载失败中断整个脚本
• 确认selectedMembers参数是否固定，若数据维度有更新需同步调整该参数

内容的提问来源于stack exchange，提问作者stats_noob