如何用SAS INFILE函数结合WHERE子句高效导入固定宽度文件

针对你当前先全量导入2GB文本文件再筛选的低效方案，可通过在数据步读取阶段直接过滤记录的方式，仅提取RecordType='T'的行，无需生成全量中间数据集，大幅提升处理效率。

优化后代码 #

data Grid.t_Pvdr_Mstr;
    infile "C:\SASData\Provider_Master.txt" truncover;
    /* 先读取RecordType字段，用@指针保持当前行位置 */
    input RecordType $ 5-7 @;
    /* 筛选仅保留RecordType为'T'的记录，不符合则跳过 */
    if RecordType ne 'T' then delete;
    /* 读取剩余所有固定宽度字段 */
    input
        Insurer $ 1-4
        Actions $ 8-8
        Pvdr $ 9-18
        Type $ 19-19
        Name $ 20-58
        Bus_Type_Code $ 59-61
        Bus_Date $ 62-69
        Address1 $ 70-129
        Address2 $ 130-189
        City $ 190-219
        State $ 220-221
        Zip $ 222-230
        County $ 231-260
        Country $ 261-263
        Phone $ 264-274;
run;

核心优化点说明 #

• 行保持指针@：第一个input语句末尾的@会让SAS保持当前行的读取位置，不会自动跳转到下一行，确保后续input能继续读取当前行的其他字段。
• 提前筛选：读取RecordType后立即判断，不符合条件的行直接用delete跳过，避免了读取后续字段、写入数据集的额外开销。
• 无中间数据集：全程仅生成最终需要的小数据集（不足400KB），彻底消除了2GB全量数据的写入和二次读取操作。

对比原方案的优势 #

原方案需要先写入2GB的SAS数据集，再重新读取筛选，IO开销极大；优化后SAS仅扫描文本文件一次，只处理符合条件的行，内存占用和处理时间都会显著降低。

内容的提问来源于stack exchange，提问作者J.Price