在GCP Cloud Shell使用DBT CLI运行模型失败求助

错误原因分析 #

expected str, bytes or os.PathLike object, not NoneType这个错误的核心是：dbt在加载BigQuery认证凭据时，未能正确解析你配置的keyfile_json，转而尝试查找一个不存在的密钥文件路径（返回了None）。结合你的配置和dbt 1.4.4版本，触发点主要有两个：

• keyfile_json的格式或内容存在无效项，导致dbt无法解析为有效凭据
• dbt 1.4.x版本对keyfile_json的解析有严格格式要求，内嵌JSON的细节处理不当会触发异常

具体修复步骤 #

步骤1：修正keyfile_json的格式与内容 #

检查并修正profile.yml中的keyfile_json配置：

keyfile_json:
  type: service_account
  project_id: XXXXXXX
  private_key_id: vasljasgjaspogjsapodgjasaklgjsagjs
  private_key: "-----BEGIN PRIVATE KEY-----\nYYYYYYY\n-----END PRIVATE KEY-----\n"
  client_email: XXXXXXXXX.iam.gserviceaccount.com
  client_id: 9577623947510934752394752
  auth_uri: https://accounts.google.com/o/oauth2/auth
  token_uri: https://oauth2.googleapis.com/token
  auth_provider_x509_cert_url: https://www.googleapis.com/oauth2/v1/certs
  client_x509_cert_url: https://www.googleapis.com/robot/v1/metadata/x509/XXXXXXXXXX.iam.gserviceaccount.com

关键修正点：

• 给private_key字段添加双引号，避免YAML解析时的换行符异常
• 修正client_x509_cert_url为有效格式，正确路径应为https://www.googleapis.com/robot/v1/metadata/x509/[你的服务账号邮箱]

步骤2：改用密钥文件路径替代内嵌JSON（更稳定方案） #

在Cloud Shell中，将服务账号密钥保存为本地文件（如service-account-key.json），然后修改profile.yml的认证配置：

dev:
  dataset: my_dataset
  job_execution_timeout_seconds: 1000
  job_retries: 1
  location: EU
  method: service-account
  priority: interactive
  project: my_project
  threads: 4
  type: bigquery
  keyfile: /home/user/git_repo/service-account-key.json  # 替换为你的密钥文件实际路径

这种方式比内嵌JSON更不容易出现解析问题，也便于后续维护。

步骤3：调整密钥文件权限 #

确保Cloud Shell环境能读取密钥文件，同时保证安全：

chmod 600 service-account-key.json

步骤4：清理无效配置警告 #

删除dbt_project.yml中无效的配置项models.my_project.example，消除无关警告。

验证修复 #

先执行调试命令确认配置与连接正常：

dbt debug

所有检查通过后，重新运行模型：

dbt run --select my_model

内容的提问来源于stack exchange，提问作者dips