如何直接将互联网URL中的ASCII文件导入Stata并批量处理

现有代码的核心问题 #

• URL变量拼接完全失效：外层循环定义了yr变量，但写URL时硬编码了固定年份后缀03，既没有把循环的年份变量拼到文件名里，也和月份变量的位置不匹配，循环多少次都会反复拉取同一个固定文件，循环逻辑完全没生效。
• 没有实现合并流程：每次导入都加了clear参数，新导入的内容会直接覆盖内存里的旧数据，最后只会留下最后一个文件的内容，完全达不到多文件合并的目的。
• 导入命令不匹配文件格式：这类公开MTS报表是无统一分隔符的固定宽度ASCII文本，不是逗号/制表符分隔的类CSV文件，用insheet读入会把整行文本当成单个变量，完全解析不出数据结构。
• 版本兼容性限制：Stata 14及更早版本不支持直接通过URL拉取远程文件，只有Stata 16及以上版本才原生支持导入命令直接读取web路径的文件。

需要调整的适配点 #

• 修正文件名拼接规则：对应源文件的命名规则为mts+两位月份+两位年份.txt，拼接URL时要按顺序把循环得到的month、yr变量嵌入文件名后缀，不要硬编码固定值。
• 替换匹配的导入命令：针对固定宽度的ASCII文本，改用import fixed或infix命令读入，提前指定每一列数据的字符起止位置，跳过顶部的标题行、底部的备注行，避免把非数据内容导入到结果里。
• 调整循环内的存储逻辑：去掉每次导入直接覆盖内存的写法，第一次导入完成后把数据存为临时文件，后续每次导入新文件后，自动把新数据追加合并到之前的主数据集里，等所有文件拉取完成后再把合并好的最终数据集读入内存。
• 增加异常容错：因为批量拉取时容易碰到个别月份/年份的文件不存在、链接失效的情况，用capture包裹导入逻辑，碰到失效链接直接跳过，避免整个循环因为单个文件拉取失败中断。

修正后的参考实现代码 #

* 初始化标记，判断是否为第一次导入
local first_run = 1
* 定义需要拉取的两位年份列表
foreach yr in 04 05 06 07 08 09 {
    * 循环遍历12个月份
    foreach month in 01 02 03 04 05 06 07 08 09 10 11 12 {
        * 碰到拉取失败的文件自动跳过，不中断循环
        capture noisily {
            * 适配固定宽度ASCII文件的导入命令，直接读取web路径
            import fixed using "https://www.fiscal.treasury.gov/files/reports-statements/mts/mts`month'`yr'.txt", ///
                clear
            * 第一次导入完成后建立临时主数据集
            if `first_run' == 1 {
                tempfile master_data
                save `master_data'
                local first_run = 0
            }
            * 后续导入的新数据追加到主数据集
            else {
                append using `master_data'
                save `master_data', replace
            }
        }
    }
}
* 循环全部结束后，将合并完成的最终数据集读入内存
use `master_data', clear

实操注意事项 #

• 若使用Stata 15及更早版本，无法直接读取web路径，需先通过copy命令将对应远程文件下载到本地临时目录，再从本地路径导入。
• 批量请求时建议在循环中加sleep(1000)语句，设置每次请求间隔1秒，避免请求太频繁被源网站拦截访问。
• 导入时可根据文件实际结构，在导入命令中加ignore()参数跳过开头、结尾的非数据行，减少后续的数据清洗工作量。

内容的提问来源于stack exchange，提问作者thomasb16562