如何在本地复现AWS Lambda的IOException: Too many open files错误？

我部署了一个用C#编写的AWS Lambda，根据输入不同，控制台会出现如下截断的错误信息：

{ "Cause": "{
  \"errorType\": \"IOException\",
  \"errorMessage\": \"Too many open files : [...]at System.IO.FileSystem.RemoveDirectoryRecursive(String fullPath)",
  "Error": "IOException",
  "ExecutionArn": [...]
}

我大致了解该错误的含义，但希望能在本地复现它。使用AWS .NET Lambda test tool传入完全相同的JSON输入时，无法触发该异常。我推测Windows 10系统对文件描述符数量的限制比AWS端更宽松，因此在Lambda代码中添加了_setmaxstdio调用：

[DllImport("msvcrt.dll")]
public static extern int _setmaxstdio(int newMax);

并在主代码中调用：

int ret = _setmaxstdio(128);

调试器显示返回值为128，但使用AWS .NET Lambda test tool仍无法在本地复现问题。我选择128是因为它低于AWS文档中描述的1024限制。我怀疑是对1024个线程调用了Task.WhenAll，刚好达到1024个文件描述符的限制。请问如何在本地复现该异常？

核心问题说明 #

Windows的文件描述符限制机制和Lambda运行的Linux环境差异很大，_setmaxstdio仅影响C标准库的文件句柄数量，不影响.NET自身管理的文件句柄，所以靠这个设置无法模拟Linux的限制。

具体复现步骤 #

1. 改用Linux环境测试

   • 使用WSL2（Windows子系统Linux）运行Lambda测试工具，或者直接在Linux虚拟机/容器中部署测试环境。Lambda运行在Amazon Linux 2/2023上，和Windows的文件系统限制逻辑完全一致，能更准确复现场景。
   • 在Linux环境中，直接通过ulimit命令降低文件描述符上限：

     ulimit -n 1024  # 设置最大打开文件数为1024，和Lambda默认限制一致
     

     之后启动AWS .NET Lambda test tool，运行测试用例即可触发异常。

2. 手动模拟文件句柄耗尽场景

   • 在测试代码中，提前打开大量文件句柄不释放，再执行原Lambda逻辑：

     // 提前占用文件句柄
     var openFiles = new List<FileStream>();
     for (int i = 0; i < 1000; i++)
     {
         try
         {
             var fs = new FileStream(Path.Combine(Path.GetTempPath(), $"temp_{i}.txt"), FileMode.Create, FileAccess.ReadWrite, FileShare.None);
             openFiles.Add(fs);
         }
         catch
         {
             break;
         }
     }
     
     // 执行原Lambda逻辑
     await YourLambdaFunctionHandler(input, context);
     
     // 测试结束后清理（可选）
     foreach (var fs in openFiles)
     {
         fs.Dispose();
     }
     

   • 这段代码会先占用大部分可用文件句柄，再执行原逻辑，大概率触发"Too many open files"异常。

3. 验证线程/任务对文件句柄的占用

   • 如果怀疑是Task.WhenAll调用1024个任务导致的，可在每个任务中显式打开文件并保持：

     var tasks = Enumerable.Range(0, 1024).Select(async i =>
     {
         var fs = new FileStream(Path.Combine(Path.GetTempPath(), $"task_{i}.txt"), FileMode.Create, FileAccess.ReadWrite, FileShare.None);
         // 保持文件打开，不释放
         await Task.Delay(1000); // 模拟任务执行时间
         // 注释掉Dispose，故意泄漏句柄
         // fs.Dispose();
     });
     
     await Task.WhenAll(tasks);
     

   • 运行这段代码，在Windows或Linux环境中都可能触发文件句柄耗尽的异常，验证你的推测是否正确。

内容的提问来源于stack exchange，提问作者malat