Docker容器及AWS Fargate中BigQuery转DataFrame性能极低求助

问题背景 #

本地直接运行BigQuery查询代码耗时22秒，但在本地Docker容器中运行耗时363秒，在配置16GB内存、2048 CPU的AWS Fargate（ECS）中运行耗时约350秒，性能差距极大。

代码及配置 #

Python代码 #

from google.cloud import bigquery
import pandas as pd
from google.oauth2.service_account import Credentials
import time
credentials = Credentials.from_service_account_file(r'xxxxx.json')
# Create a BigQuery client.
client = bigquery.Client(credentials=credentials)

query="""
  SELECT *
FROM `xxx.gdfp_dataset.p_NetworkBackfillImpressions_xxxxx`
WHERE 
  TIMESTAMP_MICROS(TimeUsec2) BETWEEN
  TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 22 HOUR) AND
  TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 21 HOUR)
"""
# Execute the query and convert the results to a pandas DataFrame.
start_time = time.time()
print("Querying BigQuery",'start time',time.time())
df = client.query(query).to_dataframe(create_bqstorage_client=True)
print("Querying BigQuery",'end time',time.time())
#print(f"Insertion took {time.time() - start_time} seconds")

Dockerfile #

# Use the official Python image from the Docker Hub
FROM python:3.8-slim-buster
# Make a directory for our application
WORKDIR /app
# Copy over the requirements file
COPY requirements.txt .
# Install pip dependencies
RUN pip install --no-cache-dir -r requirements.txt
# Copy the rest of our application code
COPY . /app
# Run the application
CMD ["python", "-u", "gdfp_main.py"]

排查及优化步骤 #

• 对齐依赖版本
  对比本地与容器内的google-cloud-bigquery、google-cloud-bigquery-storage、pandas版本，确保完全一致。不同版本的BQ存储客户端在数据传输效率上差异极大。可在本地和容器内执行pip list输出依赖列表进行对比，在requirements.txt中明确指定与本地一致的版本号。

• 优化BigQuery Storage Client使用

  1. 确认容器内已安装google-cloud-bigquery-storage依赖，版本需与google-cloud-bigquery兼容。
  2. 显式初始化BQ Storage Client，避免自动创建的潜在性能损耗：

     from google.cloud import bigquery_storage_v1
     bqstorage_client = bigquery_storage_v1.BigQueryReadClient(credentials=credentials)
     df = client.query(query).to_dataframe(bqstorage_client=bqstorage_client)
     

  3. 避免使用SELECT *，只查询业务需要的字段，减少数据传输量。

• 排查网络性能

  1. 本地与容器/Fargate的网络链路差异是常见原因：在容器内执行curl -w "%{time_total}\n" https://bigquery.googleapis.com测试请求延迟，对比本地结果。
  2. Fargate环境中，若使用私有子网，需确认NAT网关带宽足够；或配置BigQuery VPC端点，绕过公网直接连接BQ服务，降低延迟。

• 调整容器资源限制

  1. 本地Docker默认资源限制宽松，运行容器时显式指定资源：docker run --cpus 4 --memory 8g [镜像名]，测试性能是否提升。
  2. Fargate当前配置为2vCPU，可尝试升级至4vCPU，数据下载与DataFrame转换阶段对CPU资源敏感。

• 补充系统级依赖优化
  python:3.8-slim-buster为精简镜像，缺少部分性能优化库，可在Dockerfile中添加：

  RUN apt-get update && apt-get install -y --no-install-recommends libgomp1
  

  同时设置环境变量启用多线程：

  ENV OMP_NUM_THREADS=4
  ENV NUMBA_NUM_THREADS=4
  

• 精细化性能定位
  在代码中拆分计时节点，定位瓶颈环节：

  start_time = time.time()
  print("Query submitted at", start_time)
  query_job = client.query(query)
  print("Waiting for query completion at", time.time())
  query_job.result()  # 等待BQ查询执行完成
  print("Query completed at", time.time())
  print("Starting data download at", time.time())
  df = query_job.to_dataframe(create_bqstorage_client=True)
  print("DataFrame created at", time.time())
  print(f"Total time: {time.time() - start_time} seconds")
  

  若怀疑代码执行效率，可在容器内用cProfile分析：python -m cProfile -o profile.stats gdfp_main.py，通过pstats工具查看耗时Top函数。

内容的提问来源于stack exchange，提问作者Shen