在SQL Server作业中实现Python与BigQuery连接的认证问题求助

问题本质 #

你之前在Jupyter中使用的是交互式OAuth认证流，依赖手动操作获取授权码，且生成的认证缓存仅对当前登录的用户账号可见。SQL Server作业通常由SQL Server代理服务的系统账号后台运行，既无法完成交互授权操作，也读取不到个人用户目录下的认证缓存，因此必然运行失败。
你提到的固定凭证认证是完全可行的，逻辑和使用固定账号密码连接SQL Server一致，用Google Cloud服务账号密钥即可实现无交互认证。

配置步骤 #

• 生成服务账号密钥文件
  进入Google Cloud控制台对应BigQuery项目，创建专用服务账号，按需分配最小必要权限（如BigQuery Job User、对应数据集的读写权限），生成JSON格式的密钥文件，存放到SQL Server服务器本地的安全目录，比如D:\gcp_auth\bq_sa_key.json，严格控制该文件的读取权限，仅允许SQL Server代理服务账号访问。
• 修改Python连接代码
  显式指定服务账号密钥完成认证，无需依赖默认的交互式认证逻辑，示例代码如下：

  from google.cloud import bigquery
  from google.oauth2 import service_account
  
  # 替换为你的密钥文件实际路径
  KEY_FILE = r"D:\gcp_auth\bq_sa_key.json"
  
  # 加载服务账号凭证
  credentials = service_account.Credentials.from_service_account_file(
      KEY_FILE,
      scopes=["https://www.googleapis.com/auth/cloud-platform"]
  )
  
  # 初始化BigQuery客户端
  bq_client = bigquery.Client(
      credentials=credentials,
      project=credentials.project_id
  )
  
  # 后续正常使用bq_client执行BigQuery操作即可
  

• 配置SQL Server作业权限
  确认SQL Server代理服务的运行账号对以下资源有权限：
  • 读取服务账号密钥文件
  • 读取Python脚本文件
  • 执行Python解释器
    作业调用Python脚本时建议写绝对路径，避免环境变量问题，示例调用命令：
    "C:\Program Files\Python310\python.exe" D:\scripts\auto_bq_sync.py

排查方案 #

如果配置后仍然报错，先在SQL Server服务器上切换为SQL Server代理的运行账号，手动执行Python脚本，确认脚本本身可以正常运行，排除路径、权限、依赖包缺失等基础问题。

内容的提问来源于stack exchange，提问作者Cookye