Java加密字符串在BigQuery中解密失败的技术问询

问题背景 #

我们在将部分字段上传至BigQuery时采用列级加密方案，通过Java代码完成了加密，但使用BigQuery查询语句解密时提示“解密失败”。加密得到的encryptedCipher字符串从日志复制后直接用于解密仍报错。

Java加密代码 #

KeyManagementServiceClient client = KeyManagementServiceClient.create();

CryptoKeyName cryptoKey = CryptoKeyName.of("project", "region", "column-encryption-keyrings", "column-encryption-key");

EncryptResponse response = client.encrypt(cryptoKey, ByteString.copyFromUtf8("abcde"));

String encryptedCipher = new String(Base64.getEncoder().encode(response.getCiphertext().toByteArray()))

BigQuery解密SQL #

SELECT
  DETERMINISTIC_DECRYPT_BYTES(
    KEYS.KEYSET_CHAIN(kms_resource_name, first_level_keyset),
    encryptedCipher,
   ''
  ) AS decryptedData

可行性分析与问题排查 #

这个场景完全可行，问题出在加密和解密流程不匹配，以下是你可能遗漏的关键点：

• 加密方式与解密函数不匹配：你用GCP KMS标准encrypt接口做的是随机化加密，但DETERMINISTIC_DECRYPT_BYTES仅支持确定性加密的解密。确定性加密要求密钥配置为确定性算法（如GOOGLE_SYMMETRIC_ENCRYPTION_DETERMINISTIC），且加密时使用对应流程，默认KMS加密是随机化的，两者不兼容。

• 密钥参数格式错误：KEYS.KEYSET_CHAIN的第一个参数需要KMS密钥的完整资源路径，格式为projects/[PROJECT_ID]/locations/[REGION]/keyRings/[KEY_RING]/cryptoKeys/[CRYPTO_KEY]，你使用的kms_resource_name是否符合该格式？另外，若未使用数据加密密钥（DEK）直接用KMS密钥加密原始数据，无需first_level_keyset参数，应改用KEYS.KMS_KEY传入密钥路径。

• Base64未解码：DETERMINISTIC_DECRYPT_BYTES接收的是原始字节数据，但你传入的是Base64编码后的字符串，需先用FROM_BASE64(encryptedCipher)将字符串转成字节数组再传入解密函数。

• 权限配置缺失：确保BigQuery服务账号（service-[PROJECT_NUMBER]@gcp-sa-bigquery.iam.gserviceaccount.com）拥有该KMS密钥的cloudkms.cryptoKeyDecrypter权限，权限不足也会触发“解密失败”提示。

修正后的解密SQL示例 #

若直接使用KMS密钥加密（未用DEK），修正后的SQL如下：

SELECT
  DETERMINISTIC_DECRYPT_BYTES(
    KEYS.KMS_KEY("projects/[PROJECT_ID]/locations/[REGION]/keyRings/column-encryption-keyrings/cryptoKeys/column-encryption-key"),
    FROM_BASE64(encryptedCipher),
    ''
  ) AS decryptedData

内容的提问来源于stack exchange，提问作者User-8017771