在AWS Lambda中运行Maxmind GeoIpUpdate无法生成文件至/tmp目录

问题描述 #

计划创建AWS Lambda函数，通过Maxmind GeoIpUpdate可执行工具及配置文件生成专有二进制文件，存入Lambda的/tmp目录后上传至S3。本地运行代码可正常生成目标文件，但部署到Lambda环境后，/tmp目录未出现预期文件。相关代码如下：

val amazonS3 = AmazonS3Client.builder().build()
val classLoader = javaClass.classLoader
val configFile = File(classLoader.getResource("GeoIP.conf").file)
configFile.setWritable(true, false)
configFile.setReadable(true, false)
val executableFile = File(classLoader.getResource("geoipupdate").file)
executableFile.setWritable(true, false)
executableFile.setReadable(true, false)
executableFile.setExecutable(true, false)
try {
    ProcessBuilder().directory(File("/var/task/"))
        .command("./geoipupdate", "-f", "GeoIP.conf", "-d", "/tmp/").start().waitFor()
} catch (e: Exception) {
    logger.info("error: ${e.message}")
}
"ls -l /tmp".runCommand()

排查与解决步骤 #

• 验证geoipupdate二进制文件的兼容性
  Lambda运行环境基于Amazon Linux 2（或Amazon Linux 2023），本地编译的geoipupdate如果是针对MacOS/Windows等其他系统的版本，在Lambda环境中无法执行。必须使用针对Amazon Linux 2编译的geoipupdate二进制文件——可以在Amazon Linux 2 EC2实例上编译，或直接下载Maxmind提供的对应平台版本。

• 修正资源文件的路径处理逻辑
  Lambda中通过classLoader.getResource()获取的资源，在打包成JAR后并非直接的文件系统路径，直接用File(...)会导致文件找不到。正确做法是将资源文件复制到/tmp目录再操作：

  // 复制配置文件到/tmp
  val configInputStream = classLoader.getResourceAsStream("GeoIP.conf")
  val tmpConfig = File("/tmp/GeoIP.conf")
  Files.copy(configInputStream, tmpConfig.toPath(), StandardCopyOption.REPLACE_EXISTING)
  tmpConfig.setReadable(true, false)
  
  // 复制可执行文件到/tmp并赋予执行权限
  val execInputStream = classLoader.getResourceAsStream("geoipupdate")
  val tmpExec = File("/tmp/geoipupdate")
  Files.copy(execInputStream, tmpExec.toPath(), StandardCopyOption.REPLACE_EXISTING)
  tmpExec.setExecutable(true, false)
  tmpExec.setReadable(true, false)
  tmpExec.setWritable(true, false)
  

• 调整ProcessBuilder的执行参数与日志捕获
  不要依赖/var/task目录的相对路径，直接使用/tmp下的绝对路径执行；同时要捕获完整的执行日志（原代码仅打印错误消息，丢失关键排查信息）：

  try {
      val process = ProcessBuilder()
          .command(tmpExec.absolutePath, "-f", tmpConfig.absolutePath, "-d", "/tmp/")
          .redirectErrorStream(true) // 合并错误输出与标准输出
          .start()
      // 读取执行日志用于排查
      val output = BufferedReader(InputStreamReader(process.inputStream)).readText()
      val exitCode = process.waitFor()
      logger.info("geoipupdate exit code: $exitCode, output: $output")
  } catch (e: Exception) {
      logger.error("geoipupdate execution failed", e) // 打印完整堆栈信息
  }
  

• 检查Lambda的网络与资源限制

  • 若geoipupdate需要联网下载数据库，确保Lambda角色有对应网络权限：如果Lambda在VPC中，需配置NAT网关允许出站访问Maxmind的域名（如geoip.maxmind.com）；如果不在VPC，需确保Lambda的执行角色无网络访问限制。
  • 确认/tmp目录空间充足：Lambda默认/tmp有512MB存储空间，若生成的文件超过此限制会导致写入失败。

内容的提问来源于stack exchange，提问作者user22104925