使用SAS filename语句批量解压.gz文件并读取数据集失败求助

问题原因 #

SAS的zip引擎直接使用通配符（如EQY_US_ALL_TRADE_202107*）批量处理独立GZIP文件时不支持，它更适配ZIP压缩包的处理逻辑。单个文件能成功执行，是因为指定了明确的单一压缩文件路径，符合引擎的处理规则。

方法一：借助Windows命令行管道批量读取 #

通过filename语句调用系统命令，批量解压并读取所有符合规则的.gz文件（需确保gzip工具已在系统PATH中，或使用完整路径）：

/* 切换工作目录至目标文件夹 */
data _null_; 
  rc=dlgcdir("C:\EQY_US_ALL_TRADE_202107");
  put rc=;
run;

/* 调用cmd命令批量解压并输出内容 */
filename f1 pipe 'for %f in (EQY_US_ALL_TRADE_202107*.gz) do gzip -dc "%f"';

/* 读取数据至数据集，需根据实际文件结构调整input语句 */
data trade_data;
  infile f1 lrecl=500 truncover;
  /* 示例字段，替换为你的文件实际字段定义 */
  input trade_id $ price volume date date9.;
run;

若系统无独立gzip工具，可改用PowerShell命令：

filename f1 pipe 'Get-ChildItem EQY_US_ALL_TRADE_202107*.gz | ForEach-Object { Get-Content $_.FullName -Encoding Byte | .\gzip.exe -dc }';

方法二：SAS循环遍历文件处理 #

先获取文件夹内所有符合规则的.gz文件名，再逐个解压读取并合并数据集：

/* 切换工作目录 */
data _null_; 
  rc=dlgcdir("C:\EQY_US_ALL_TRADE_202107");
  put rc=;
run;

/* 生成目标.gz文件列表 */
data file_list;
  length filename $200;
  did=dopen('.');
  if did>0 then do;
    do i=1 to dnum(did);
      filename=dread(did,i);
      /* 匹配符合命名规则的.gz文件 */
      if prxmatch('/EQY_US_ALL_TRADE_202107\d{2}\.gz$/i',filename) then output;
    end;
    rc=dclose(did);
  end;
run;

/* 逐个读取文件并合并数据 */
data trade_data;
  set file_list;
  /* 为每个文件创建临时gzip连接 */
  rc=filename('temp_gz',filename,'gzip');
  if rc=0 then do;
    infile temp_gz lrecl=500 truncover;
    do while(not eof);
      /* 替换为实际字段定义 */
      input trade_id $ price volume date date9.;
      output;
    end;
    rc=filename('temp_gz','');
  end;
run;

注意事项 #

• 确认lrecl参数与实际文件的记录长度匹配，避免出现数据截断或读取异常。
• 使用命令行方法前，先在cmd/PowerShell中测试命令是否能正常解压文件，确保工具路径正确。
• 循环处理方法灵活性更强，可适配文件名不规则的场景，也便于添加错误捕获逻辑。

内容的提问来源于stack exchange，提问作者zannatus saba