如何通过GCP DLP与BigQuery创建自定义数据脱敏掩码规则？

一、用正则匹配实现中间掩码需求 #

完全可以通过正则结合ReplaceConfig实现自定义掩码，这是解决单侧掩码限制的有效方式：

• 先定义自定义InfoType匹配目标敏感数据（比如16位账号），确保只对特定格式的数据生效
• 在deidentifyConfig中配置replaceConfig，通过正则捕获分组保留首尾需要显示的部分，中间替换为掩码符号

示例配置（JSON格式）：

{
  "inspectConfig": {
    "customInfoTypes": [
      {
        "infoType": {"name": "16_DIGIT_ACCOUNT"},
        "regex": {"pattern": "^\\d{16}$"}
      }
    ]
  },
  "deidentifyConfig": {
    "infoTypeTransformations": {
      "transformations": [
        {
          "infoTypes": [{"name": "16_DIGIT_ACCOUNT"}],
          "primitiveTransformation": {
            "replaceConfig": {
              "replaceWith": "$1******$2",
              "regex": {
                "pattern": "^(\\d{6}).*(\\d{4})$",
                "groupIndices": [1, 2]
              }
            }
          }
        }
      ]
    }
  }
}

这里通过正则^(\\d{6}).*(\\d{4})$捕获16位账号的前6位和后4位，用$1******$2替换后，就能得到123456******3456的效果。

二、检测特定敏感数据的方法 #

• 自定义InfoType精准匹配：针对无内置匹配类型的数据，通过正则、字典或机器学习模型创建自定义InfoType，比如匹配特定格式的账号、内部工号等
• 内置InfoType加规则过滤：如果是信用卡号这类已有内置类型的数据，可在inspectConfig中添加ruleSet，进一步过滤长度、前缀等条件，确保只对目标数据应用脱敏

三、复杂场景的自定义转换方案 #

如果正则无法满足动态掩码（比如根据账号长度调整掩码位数）这类复杂逻辑，可以结合Cloud Functions实现：

• 配置DLP触发Cloud Function，当检测到敏感数据时，在函数内编写自定义掩码逻辑
• 处理完成后返回脱敏结果，这种方式支持任意复杂的个性化需求

内容的提问来源于stack exchange，提问作者Lais T