Node.js中DynamoDB unmarshall仅解析单个Map问题求助

问题场景 #

在Node.js环境中从DynamoDB获取数据后，使用unmarshall(data)工具解包时，仅clientConfiguration字段被正确转换为普通对象，而pageAccess字段仍保留DynamoDB原始的Map格式（包含M标识）。

原始DynamoDB数据格式 #

{
  "email": {"S": "example@example.com"},
  "name": {"S": "John Doe"},
  "clientConfiguration": {
    "M": {
      "chartTimeScale": {
        "S": "Periodic"
      },
      "naming": {
        "S": "Site"
      }
    }
  },
  "clientName": { "S": "Client" },
  "clientStatus": {"S": "Onboarding" },
  "createdDate": {"S": "2023-09-19T15:46:09.688Z"},
  "pageAccess": {
    "M": {
      "pageOne": {
        "BOOL": false
      },
      "pageTwo": {
        "BOOL": false
      },
      "pageThree": {
        "BOOL": false
      },
      "pageFour": {
        "BOOL": false
      },
      "pageFive": {
        "BOOL": false
      }
    }
  },
  "users": {
    "L": []
  }
}

unmarshall后的结果 #

{
    "email": "example@example.com",
    "name": "John Doe",
    "clientConfiguration": {
        "chartTimeScale": "Periodic",
        "naming": "Site"
    },
    "clientName": "Client" ,
    "clientStatus": "Onboarding" ,
    "createdDate": "2023-09-19T15:46:09.688Z",
    "pageAccess": {
        "M": {
            "Lifts": {
                "BOOL": true
            },
            "Roofs": {
                "BOOL": true
            },
            "HVAC": {
                "BOOL": true
            },
            "Refrigeration": {
                "BOOL": true
            },
            "Car Parks": {
                "BOOL": true
            }
        }
    },
    "users": []
}

原因分析 #

1. 数据传递异常：unmarshall后的pageAccess键名（Lifts、Roofs等）与原始数据（pageOne到pageFive）完全不一致，说明调用unmarshall前数据已被意外修改或替换。
2. SDK版本不匹配：AWS SDK v2和v3的unmarshall工具实现逻辑有差异，若调用方式与当前SDK版本不对应，可能导致部分字段解析失败。
3. 自定义解包逻辑缺陷：自行编写的解包函数可能未覆盖BOOL类型的嵌套Map解析，或递归处理逻辑存在漏洞。

解决方案 #

1. 验证输入数据完整性 #

在调用unmarshall前，打印并检查传入的data.pageAccess结构，确认其与原始DynamoDB格式一致：

console.log('原始pageAccess数据:', data.pageAccess);
// 确认输出应为: {"M": {"pageOne": {"BOOL": false}, ...}}

2. 匹配正确的SDK版本调用 #

• AWS SDK v2：使用内置转换器

  const AWS = require('aws-sdk');
  const unmarshalledData = AWS.DynamoDB.Converter.unmarshall(data);
  

• AWS SDK v3：使用@aws-sdk/util-dynamodb包

  const { unmarshall } = require('@aws-sdk/util-dynamodb');
  const unmarshalledData = unmarshall(data);
  

3. 自定义递归解包函数 #

若官方工具仍无法解决，可实现覆盖核心类型的自定义解包函数：

function customUnmarshall(item) {
  if (!item || typeof item !== 'object') return item;

  const typeKeys = Object.keys(item);
  if (typeKeys.length !== 1) return item;

  const type = typeKeys[0];
  const value = item[type];

  switch (type) {
    case 'S':
    case 'BOOL':
      return value;
    case 'M':
      const mappedObj = {};
      for (const [key, val] of Object.entries(value)) {
        mappedObj[key] = customUnmarshall(val);
      }
      return mappedObj;
    case 'L':
      return value.map(customUnmarshall);
    // 根据业务需求添加其他类型处理（如N、NS、SS等）
    default:
      return item;
  }
}

// 使用示例
const unmarshalledData = customUnmarshall(originalDynamoDBData);

4. 检查数据获取逻辑 #

确认从DynamoDB获取数据时，未使用可能修改字段结构的投影表达式或转换逻辑，确保返回的是完整的原始DynamoDB格式数据。

内容的提问来源于stack exchange，提问作者Matt Boston