BigQuery中DETERMINISTIC_DECRYPT_STRING密钥集反序列化失败求助

核心问题 #

你遇到的Keyset deserialization failed错误，根源是传入KEYSET_CHAIN的不是合法的Tink Keyset proto结构。你直接用KMS加密了原始AES DEK字节，但BigQuery的密钥链需要的是被KMS加密后的Tink Keyset格式数据，而非单纯的DEK密文。

修正步骤 #

1. 安装Tink工具 #

BigQuery的密钥操作依赖Google Tink加密库的Keyset格式，先安装Tink CLI：

# Linux环境示例
wget https://github.com/google/tink/releases/download/v1.11.0/tink-cli-linux-amd64
chmod +x tink-cli-linux-amd64
mv tink-cli-linux-amd64 /usr/local/bin/tink-cli

2. 生成并加密合法的AES-256 Keyset #

用Tink生成符合要求的DEK Keyset，再用你的KMS密钥加密这个Keyset：

# 生成未加密的AES-256 Keyset（用于加密业务数据的DEK）
tink-cli aes-256-ctr generate-keyset --out-format json > plaintext_keyset.json

# 用KMS加密该Keyset，得到加密后的二进制文件
tink-cli kms encrypt --keyset-uri gcp-kms://projects/my_project/locations/us/keyRings/my_keyring/cryptoKeys/my_key \
  --in plaintext_keyset.json --out encrypted_keyset.bin

3. 转换加密后的Keyset为BigQuery可用格式 #

将encrypted_keyset.bin转换为BigQuery支持的BYTES字面量格式：

od -An -t o1 encrypted_keyset.bin | tr -d '\n' | tr -s ' ' | tr ' ' '\'

把命令输出的字符串复制到BigQuery代码的对应变量中。

4. 修正BigQuery查询代码 #

确保KMS资源路径正确，传入的是加密后的Keyset字节：

DECLARE KMS_RESOURCE_NAME STRING;
DECLARE ENCRYPTED_KEYSET BYTES;

SET KMS_RESOURCE_NAME = 'gcp-kms://projects/vf-my_project/locations/us/keyRings/my_keyring/cryptoKeys/my_key';
-- 替换为上面od命令输出的完整字节序列
SET ENCRYPTED_KEYSET = b'\012\0...[完整字节内容]...';

SELECT DETERMINISTIC_DECRYPT_STRING(
  KEYS.KEYSET_CHAIN(KMS_RESOURCE_NAME, ENCRYPTED_KEYSET),
  FROM_BASE64("RandoMValueBlaBlaBla=="),
  ''
);

关键注意事项 #

• 给BigQuery默认服务账号添加cloudkms.cryptoKeyDecrypter角色，确保BigQuery有权限调用KMS解密Keyset。
• 必须使用Tink生成Keyset，手动构造的DEK字节无法被BigQuery的密钥解析器识别。

内容的提问来源于stack exchange，提问作者Noura