Python调用BigQuery查询的速度优化及API响应提升问题

问题背景 #

使用BigQuery作为数据库搭建API服务器时，执行SELECT CURRENT_TIMESTAMP()这类简单查询耗时约1秒，需要优化响应速度。

代码示例 #

query = f"""
SELECT CURRENT_TIMESTAMP() as current_time
"""

bigquery_client = get_bigquery_client()

end_time = datetime.now()
execution_time = end_time - start_time

print(f"bigquery_client execution_time: {execution_time.total_seconds()}")

query_job = bigquery_client.query(query)

end_time = datetime.now()
execution_time = end_time - start_time

print(f"query_job execution_time: {execution_time.total_seconds()}")


query_results = query_job.result()

end_time = datetime.now()
execution_time = end_time - start_time

print(f"query_results execution_time: {execution_time.total_seconds()}")

执行日志 #

bigquery_client execution_time: 0.049895
query_job execution_time: 0.726436
query_results execution_time: 1.083496

优化方法 #

• 复用BigQuery客户端实例：不要在每次API请求时创建新的bigquery_client，客户端是线程安全的，可以全局初始化一次并复用，避免重复创建客户端的连接开销。
• 本地生成当前时间替代BigQuery查询：如果业务允许用API服务器本地的当前时间，完全不需要调用BigQuery，直接用datetime.datetime.now()或datetime.datetime.utcnow()生成，这能彻底消除BigQuery请求的耗时。
• 确保BigQuery区域与API服务器同区域：将BigQuery数据集部署在和API服务器相同的云区域，减少跨区域网络传输的延迟。
• 利用BigQuery查询缓存（针对静态查询）：如果后续有静态数据查询，确保查询语句不包含非确定性函数（如CURRENT_TIMESTAMP()），BigQuery会自动缓存查询结果，重复查询时直接返回缓存数据，大幅降低耗时。
• 简化结果获取逻辑：对于单条结果的查询，直接用next(query_job.result())获取数据，避免遍历整个结果集的额外开销。

内容的提问来源于stack exchange，提问作者k_yon