DynamoDB使用updateItem实现嵌套对象upsert及电影去重问题咨询

问题原因分析 #

• 条目不存在时报错：直接修改movies_watched下的子字段时，如果是新增的条目，还没有movies_watched这个Map类型的顶层字段，DynamoDB无法找到对应的路径执行赋值操作，所以抛出路径无效的异常。
• 缺少重复校验：当前代码没有加条件判断逻辑，会直接覆盖movies_watched中已存在的同key电影数据。

修复方案 #

调整表达式生成逻辑，同时增加兜底逻辑和校验条件即可：

1. 给movies_watched增加兜底默认值，条目不存在时先初始化为空Map
2. 增加ConditionExpression，校验要插入的电影key在movies_watched中不存在
3. DynamoDB的Update操作本身支持主键不存在时自动创建新条目，不需要额外配置

修改后的代码如下：

function getInsertQuery (item) {
  const exp = {
    UpdateExpression: 'SET ',
    ExpressionAttributeNames: {},
    ExpressionAttributeValues: {},
    ConditionExpression: ''
  }
  // 先处理除主键和movies_watched外的其他字段
  const otherFields = []
  Object.entries(item).forEach(([key, value]) => {
    if (key !== 'user_id' && key !== 'dob' && key !== 'movies_watched') {
      otherFields.push(`#${key} = :${key}`)
      exp.ExpressionAttributeNames[`#${key}`] = key
      exp.ExpressionAttributeValues[`:${key}`] = value
    }
  })
  // 给movies_watched设置兜底默认值：不存在则初始化为空Map
  otherFields.push('#movies_watched = if_not_exists(#movies_watched, :empty_map)')
  exp.ExpressionAttributeNames['#movies_watched'] = 'movies_watched'
  exp.ExpressionAttributeValues[':empty_map'] = {}

  // 处理要新增的电影
  const movieFields = []
  const conditionParts = []
  let i = 0
  Object.entries(item.movies_watched).forEach(([movieKey, movieValue]) => {
    // 新增电影字段赋值
    movieFields.push(`#movies_watched.#key${i} = :val${i}`)
    exp.ExpressionAttributeNames[`#key${i}`] = movieKey
    exp.ExpressionAttributeValues[`:val${i}`] = movieValue
    // 新增重复校验条件：该key不存在于movies_watched中
    conditionParts.push(`attribute_not_exists(#movies_watched.#key${i})`)
    i++
  })

  // 拼接所有表达式
  exp.UpdateExpression += [...otherFields, ...movieFields].join(', ')
  exp.ConditionExpression = conditionParts.join(' AND ')
  return exp
}

调用注意事项 #

实际发起Update请求时，需要把主键放到参数的Key字段中，示例如下：

const updateParams = {
  TableName: '替换为你的表名',
  Key: {
    user_id: item.user_id,
    dob: item.dob
  },
  ...getInsertQuery(item)
}
// 调用update方法，捕获条件不满足的异常（对应电影重复的场景）
try {
  await dynamoClient.update(updateParams).promise()
} catch (e) {
  if (e.name === 'ConditionalCheckFailedException') {
    // 自定义处理电影重复的场景，比如返回提示信息
    console.log('要添加的电影已存在')
  } else {
    throw e
  }
}

该方案可以同时满足两种场景：

• 新条目不存在时：if_not_exists会先把movies_watched初始化为空Map，再给Map下的子字段赋值，不会出现路径不存在的问题，同时自动创建整个主键对应的新条目。
• 条目已存在时：ConditionExpression会检查所有要插入的电影key都不存在才会执行更新，如果有任意一个key已存在，就会抛出ConditionalCheckFailedException异常，不会覆盖原有数据。

内容的提问来源于stack exchange，提问作者PB384