AWS DMS 新增列排序设置及数据脱敏相关技术问题咨询

1. 新增列是否支持指定排列顺序 #

目前AWS DMS的列转换规则不支持指定新增列在表中的排列位置，未配置相关参数时默认会将新增列追加到目标表的末尾，暂时没有官方参数可以实现将新增列插入到表的指定中间位置。
如果确实需要调整列顺序，只能在DMS同步任务完成后，手动在目标数据库执行ALTER TABLE语句调整列位置，操作前建议提前备份数据并校验DMS同步状态，避免调整列结构导致同步任务异常。

2. AWS DMS场景下的数据脱敏实现方式 #

你可以通过以下几种常见方式实现DMS同步过程中的数据脱敏：

• 内置转换规则脱敏：使用DMS转换规则内置的函数对敏感字段做处理，比如哈希、掩码、替换、随机值生成等，支持全量+增量同步过程中实时生效，是最轻量化的实现方式。你提供的配置示例就是通过random()函数生成随机值写入新增列的典型用法，示例配置如下：

{
    "rule-type": "transformation",
    "rule-id": "2",
    "rule-name": "2",
    "rule-target": "column",
    "object-locator": {
      "schema-name": "test_db_source",
      "table-name": "myTable"
    },
    "rule-action": "add-column",
    "value": "name1",
    "expression": "random()",
    "data-type": {
      "type": "string",
      "length": 255,
      "precision": 2
    }
  }

• 自定义Lambda函数脱敏：如果内置函数无法满足复杂的脱敏需求，可以在DMS任务中配置触发AWS Lambda函数，在数据写入目标库前调用Lambda执行自定义脱敏逻辑，适配任意自定义规则。
• 后置批量脱敏：对于同步实时性要求不高的场景，可以先将DMS同步的原始数据写入中间存储，再通过离线数据处理工具做批量脱敏后写入最终目标库。

内容的提问来源于stack exchange，提问作者ti_key