BigQuery如何接入GKE集群中部署的PostgreSQL（TimescaleDB）作为外部数据源

结论 #

当前BigQuery官方确实仅支持公开列出的5类外部数据源，无法直接将部署在GKE上的自定义TimescaleDB（PostgreSQL）实例添加为外部数据源。以下是经过实践验证的可行替代方案：

可行替代方案 #

• 中转联邦查询方案（无需数据同步）
  先创建一个Cloud SQL for PostgreSQL实例，通过PostgreSQL内置的postgres_fdw扩展将GKE上的TimescaleDB作为外部服务器挂载到该Cloud SQL实例上。再将这个Cloud SQL实例配置为BigQuery的外部数据源，即可通过BigQuery直接查询TimescaleDB里的数据，不需要做全量数据同步。需要提前配置VPC网络规则，保证Cloud SQL实例可以访问GKE集群内的TimescaleDB服务端口。
• 增量同步方案（查询性能最优）
  在GKE集群中部署Debezium等CDC工具，捕获TimescaleDB的实时数据变更，写入到Pub/Sub队列后直接同步到BigQuery原生表。该方案下查询完全走BigQuery原生存储，性能最高，适合对查询延迟要求高、查询频次高的场景。
• 外部函数方案（适配低频查询）
  开发简单的查询转发服务部署在Cloud Function或GKE中，将该服务配置为BigQuery的远程函数。需要查询TimescaleDB时调用对应远程函数，由服务转发查询请求到TimescaleDB并返回结果。该方案不需要提前做资源和同步链路筹备，适合低频、临时查询场景。
• 批量导出方案（成本最低）
  对实时性要求不高的场景，可以定期将TimescaleDB需要查询的数据集导出为Parquet/CSV格式存入Cloud Storage，直接将Cloud Storage上的文件配置为BigQuery的外部数据源或者导入为原生表，实现成本最低，运维复杂度最小。

内容的提问来源于stack exchange，提问作者Giannis Tampakakis