Cloud Build流水线从Secrets Manager取密钥致dbt BigQuery连接报错

一、密钥存储/获取过程确实可能导致字符被修改 #

本地用JSON密钥正常、Cloud Build报错的核心原因，就是密钥在存储或读取时引入了不可见控制字符：

• 手动粘贴密钥到Secrets Manager Web界面时，可能从富文本编辑器带入软换行、非打印ASCII字符（比如报错里提到的char 173，对应ASCII软连字符\xAD）
• Cloud Build获取密钥时，若用echo之类的命令处理输出，可能额外添加换行符或出现转义错误
• 存储时没按原始JSON格式上传，比如误加了多余的引号或空格

二、避免字符修改的具体方法 #

1. 用命令行上传密钥，杜绝手动粘贴 #

直接读取本地的服务账号JSON文件，用gcloud命令上传，确保内容完全一致：

gcloud secrets create dbt-bq-service-account --data-file=./your-local-service-account.json

绝对不要在Secrets Manager的Web界面手动编辑或粘贴密钥内容，避免富文本格式干扰。

2. Cloud Build中正确读取密钥到文件 #

在cloudbuild.yaml里，获取密钥后直接解码写入文件，不要做多余处理：

steps:
  - name: 'gcr.io/cloud-builders/gcloud'
    args:
      - 'secrets'
      - 'versions'
      - 'access'
      - 'latest'
      - '--secret=dbt-bq-service-account'
      - '--format="get(payload.data)"'
      - |
        base64 --decode > /workspace/service-account.json

注意：不要用echo输出再重定向，避免自动添加换行符；确保base64 --decode正确解析（Secrets Manager存储的是base64编码内容）。

3. profiles.yml直接引用密钥文件 #

不要把JSON内容内嵌到profiles.yml里，直接指定文件路径：

your_dbt_profile:
  target: dev
  outputs:
    dev:
      type: bigquery
      method: service-account
      project: your-gcp-project-id
      dataset: your-bq-dataset
      keyfile: /workspace/service-account.json
      threads: 4
      timeout_seconds: 300

三、定位无效控制字符的步骤 #

1. 在Cloud Build中打印密钥的二进制内容 #

添加步骤用hexdump查看密钥文件的二进制编码，对比本地文件：

steps:
  # 先获取密钥到文件
  - name: 'gcr.io/cloud-builders/gcloud'
    args:
      - 'secrets'
      - 'versions'
      - 'access'
      - 'latest'
      - '--secret=dbt-bq-service-account'
      - '--format="get(payload.data)"'
      - |
        base64 --decode > /workspace/service-account.json
  # 打印前20行二进制内容，找char 173对应的位置
  - name: 'ubuntu'
    args: ['bash', '-c', 'hexdump -C /workspace/service-account.json | head -20']

本地也执行hexdump -C your-local-service-account.json | head -20，对比两处输出，就能找到第174列的异常字符。

2. 验证密钥的JSON格式 #

在Cloud Build里用jq检查JSON是否合法：

steps:
  - name: 'ubuntu'
    args: ['bash', '-c', 'apt-get update && apt-get install -y jq && jq . /workspace/service-account.json']

如果jq报错，说明JSON内容有格式问题，直接定位到错误行。

3. 对比云端与本地密钥内容 #

用命令行把云端密钥下载到本地，和本地文件做diff：

gcloud secrets versions access latest --secret=dbt-bq-service-account --format="get(payload.data)" | base64 --decode > cloud-secret.json
diff cloud-secret.json your-local-service-account.json

差异处就是问题所在，直接修正后重新上传。

内容的提问来源于stack exchange，提问作者willgraham29