如何对Azure Table Storage中的现有数据进行脱敏处理

处理思路 #

针对不同敏感字段的格式特点，编写自定义脱敏逻辑，批量读写Table Storage中的记录完成脱敏处理。

具体操作步骤 #

1. 批量读取目标数据 #

使用Azure官方Storage SDK（比如.NET的Azure.Data.Tables）拉取需要处理的实体，示例代码：

var tableClient = new TableClient("你的存储连接字符串", "目标表名称");
var targetEntities = tableClient.Query<自定义实体类>().ToList();

2. 实现字段脱敏逻辑 #

• CustomerName字段：保留每个姓名片段的首字母，其余字符替换为*，对应逻辑：

private string MaskCustomerName(string rawName)
{
    if (string.IsNullOrWhiteSpace(rawName)) return rawName;
    return string.Join(" ", rawName.Split(' ')
        .Select(segment => segment.Length > 0 ? segment[0] + new string('*', segment.Length - 1) : segment));
}

如果要严格匹配你给出的示例（比如Tim Captain转成T***** C****，固定首字母后加指定数量的*），只需把segment.Length -1改成固定数值（比如5或4）即可。

• BSBNumber字段：保留最后四位，先清理掉字段内的空格，再将前面的字符替换为*，逻辑如下：

private string MaskBSBNumber(string rawBsb)
{
    if (string.IsNullOrWhiteSpace(rawBsb)) return rawBsb;
    var cleanedBsb = rawBsb.Replace(" ", "");
    if (cleanedBsb.Length <= 4) return cleanedBsb;
    // 若要匹配示例的***8765，直接用"***"替代new string('*', cleanedBsb.Length -4)即可
    return new string('*', cleanedBsb.Length - 4) + cleanedBsb.Substring(cleanedBsb.Length - 4);
}

3. 批量更新脱敏后数据 #

遍历读取到的实体，应用脱敏逻辑后批量更新回Table Storage：

foreach (var entity in targetEntities)
{
    entity.CustomerName = MaskCustomerName(entity.CustomerName);
    entity.BSBNumber = MaskBSBNumber(entity.BSBNumber);
    await tableClient.UpdateEntityAsync(entity, entity.ETag, TableUpdateMode.Replace);
}

关键注意点 #

• 处理前一定要备份数据，避免误操作导致原数据丢失。
• 数据量极大时，不要一次性拉取所有记录，分批次处理可防止请求超时。
• 如果需要定期执行脱敏操作，可以将逻辑部署到Azure Functions中，设置定时触发。

内容的提问来源于stack exchange，提问作者Jen