私有环境下用C#/Python库通过Private Service Connect连接BigQuery失败

核心问题 #

你的推测完全正确：Google官方BigQuery SDK（Python/C#）除了BigQuery API本身，还会访问授权相关端点及其他辅助服务端点，这些请求未通过你的Private Service Connect（PSC）路由，导致无公网环境下连接重置。

需补充配置的PSC端点 #

要让SDK完全在私有网络内运行，需为以下Google服务配置PSC端点：

• OAuth 2.0 Token服务：对应oauth2.googleapis.com，用于获取/刷新访问令牌
• BigQuery API：你已配置，对应bigquery.googleapis.com
• Cloud Resource Manager API（可选）：对应cloudresourcemanager.googleapis.com，部分SDK操作会用到项目资源查询
• Identity Token服务：对应accounts.google.com，若使用服务账号以外的认证方式需配置

C#代码关键修正 #

仅设置BigQuery的BaseUri不够，需强制认证库使用PSC端点，修改后的代码示例：

using System;
using System.Net.Http;
using Google.Cloud.BigQuery.V2;
using Google.Apis.Auth.OAuth2;
using Google.Apis.Bigquery.v2;
using Google.Apis.Services;

namespace test1
{
    class Program
    {
        static void Main(string[] args)
        {
            string projectId = "myproject";
            string[] scopes = new string[] {
                "https://www.googleapis.com/auth/bigquery","https://www.googleapis.com/auth/drive"
            };

            // 1. 创建自定义HttpClient，指向OAuth的PSC端点
            var httpClient = new HttpClient(new HttpClientHandler())
            {
                BaseAddress = new Uri("https://myoauthpscendpoint.p.googleapis.com/")
            };

            // 2. 加载凭证并绑定自定义HttpClient
            var credentials = GoogleCredential.FromFile("mycredentials.json")
                .CreateScoped(scopes)
                .CreateWithHttpClient(httpClient);

            // 3. 配置BigQueryService使用你的PSC端点
            var bqs = new BigqueryService(new BaseClientService.Initializer
            {
                BaseUri = "https://mypscendpoint.p.googleapis.com/bigquery/v2/",
                HttpClientInitializer = credentials,
                HttpClient = httpClient
            });

            var client = new BigQueryClientImpl(projectId, bqs);
            string query = @"SELECT * FROM mydb.mytable LIMIT 100";
            var result = client.ExecuteQuery(query, parameters: null);

            Console.Write("\nQuery Results:\n------------\n");
            foreach (var row in result)
            {
                Console.WriteLine($"{row["a"]}: {row["b"]}");
            }
        }
    }
}

额外注意事项 #

• SSL证书信任：确保PSC端点的SSL证书能被客户端信任，测试环境可临时禁用证书验证（生产环境不建议）
• 服务账号权限：确认使用的服务账号密钥拥有BigQuery数据访问权限，且密钥文件在私有网络内可访问
• Python SDK配置：Python的google-cloud-bigquery可通过设置GOOGLE_API_USE_PRIVATE_ENDPOINT环境变量，或在客户端初始化时指定client_options指向PSC端点；同时需配置google-auth库使用自定义token端点

验证步骤 #

先测试OAuth端点连通性：

curl -H "Content-Type: application/x-www-form-urlencoded" -d "grant_type=refresh_token&client_id=YOUR_CLIENT_ID&client_secret=YOUR_CLIENT_SECRET&refresh_token=YOUR_REFRESH_TOKEN" "https://myoauthpscendpoint.p.googleapis.com/token"

能正常获取令牌后，再运行SDK代码测试。

内容的提问来源于stack exchange，提问作者Steffen