将JSON文件加载到DynamoDB：Node.js HTTP报错及Lambda定时需求

咱们一步步拆解问题，把这个坑填上～你遇到的「Undefined:1」错误几乎可以肯定是JSON解析失败导致的——本地读文件没问题，但HTTP请求返回的内容要么不是有效的JSON，要么有格式问题（比如带UTF-8 BOM头、返回了404/500错误页，甚至是空内容）。再加上命令行环境的异步特性，可能代码还没执行到写入DynamoDB就提前退出了，最后部署Lambda还要考虑权限、定时触发这些环境细节。

一、先解决本地HTTP读取的报错问题 #

1. 先排查远程返回的内容 #

先在命令行里直接请求远程URL，确认返回的内容是否正常：

curl -v https://你的远程文件地址

重点看这几点：

• 响应状态码是不是200（如果是4xx/5xx，说明远程服务本身出问题了）
• 返回的内容是不是标准JSON（有没有语法错误，开头有没有奇怪的字符，比如UTF-8 BOM头）

2. 修改HTTP请求代码，增加容错处理 #

本地读文件可能用的同步方法，但HTTP请求是异步的，必须处理各种异常情况。以下是调整后的示例代码：

const fetch = require('node-fetch');
const AWS = require('aws-sdk');
const dynamodb = new AWS.DynamoDB.DocumentClient();

async function processRemoteFile() {
  console.log("Now it is time to parse the file.");
  try {
    // 1. 请求远程文件，先检查HTTP状态
    const response = await fetch('https://你的远程文件地址');
    if (!response.ok) {
      throw new Error(`请求失败！状态码：${response.status}`);
    }
    // 2. 读取内容并移除可能的UTF-8 BOM头
    let rawContent = await response.text();
    rawContent = rawContent.replace(/^\uFEFF/, '');
    // 3. 解析JSON
    const data = JSON.parse(rawContent);
    console.log("解析成功，数据条数：", data.length);

    // 4. 写入DynamoDB（这里以批量写入为例，可根据你的数据结构调整）
    const params = {
      RequestItems: {
        '你的DynamoDB表名': data.map(item => ({
          PutRequest: { Item: item }
        }))
      }
    };
    await dynamodb.batchWrite(params).promise();
    console.log("数据成功写入DynamoDB");
  } catch (err) {
    console.error("处理过程出错：", err);
    throw err; // 抛出错误方便Lambda日志排查
  }
}

// 命令行环境下确保异步函数执行完成再退出
if (require.main === module) {
  processRemoteFile().catch(err => {
    console.error("命令行执行失败：", err);
    process.exit(1);
  });
}

// Lambda入口函数
exports.handler = async (event) => {
  await processRemoteFile();
  return { statusCode: 200, body: "处理完成" };
};

关键改进点：

• 先校验HTTP响应状态，避免解析错误页的HTML内容
• 移除UTF-8 BOM头（很多远程文件会带这个，本地文件保存时可能自动去掉了）
• 用async/await统一处理异步流程，确保步骤顺序执行
• 命令行环境下主动处理错误并设置退出码，避免静默失败

二、部署Lambda的关键配置 #

1. IAM权限配置 #

给Lambda的执行角色添加最小必要权限：

• DynamoDB权限：允许dynamodb:BatchWriteItem或dynamodb:PutItem操作到你的目标表
• 网络权限：如果远程文件是公网地址，确保Lambda有公网访问权限（默认VPC外的Lambda可以直接访问公网；如果在VPC内，需要配置NAT网关）

2. 定时触发配置 #

用EventBridge（原CloudWatch Events）创建定时规则：

• 规则类型选「计划表达式」
• 计划表达式填cron(0 10 * * ? *)——注意Lambda默认时区是UTC，如果你要北京时间18点触发，对应UTC时间是10点，所以用这个表达式（其他时区自行转换）
• 目标选择你的Lambda函数

3. Lambda基础配置 #

• 超时时间：根据远程文件大小和写入DynamoDB的耗时，调整超时时间（默认3秒可能不够，建议设为10-30秒）
• 内存配置：如果文件较大，适当调高内存（内存越高，CPU性能越好）

三、调试技巧 #

• 本地测试Lambda代码：可以用aws lambda invoke命令，或者用Serverless Framework模拟Lambda环境
• Lambda日志：在CloudWatch Logs里查看详细报错信息，比如是JSON解析失败，还是DynamoDB权限不足
• 远程文件测试：如果远程文件是动态生成的，确保在18点左右的内容是有效的JSON

内容的提问来源于stack exchange，提问作者Hackbrew