如何在Cloud Function中获取BigQuery Storage Write API日志及时间戳转Datetime？

我用Python编写了一个向BigQuery写入数据的Cloud Function，为绕过配额限制，采用BigQuery Storage Write API写入数据。目标BigQuery表包含Datetime列，但protobuf不支持该类型，因此我在流中改用timestamp。

我已在Cloud Function中配置了DEBUG级别的Cloud Logging：

logging_client = cloud_logging.Client()
logging_client.get_default_handler()
logging_client.setup_logging(log_level=logging.DEBUG)

启动Cloud Function时，函数日志中出现以下错误：

google.api_core.exceptions.Unknown: None There was a problem opening the stream. Try turning on DEBUG level logs to see the error.

想请教两个问题：

1. 如何在Cloud Function中获取BigQuery Storage Write API的日志？
2. BigQuery能否在插入数据时自动将timestamp转换为Datetime？

一、获取BigQuery Storage Write API的日志 #

你当前的配置仅开启了Cloud Function的基础DEBUG日志，要捕获Storage Write API的详细日志，需从以下几方面调整：

• 启用客户端库与gRPC的DEBUG日志：在代码中显式开启BigQuery Storage Write客户端及底层gRPC的日志，这能捕获API通信的细节：

  import logging
  # 开启BigQuery Storage Write客户端日志
  logging.getLogger("google.cloud.bigquery_storage").setLevel(logging.DEBUG)
  # 开启gRPC底层通信日志
  logging.getLogger("grpc").setLevel(logging.DEBUG)
  

• 查看项目级Storage Write API日志：在Cloud Console的日志浏览器中，筛选logName="projects/[你的项目ID]/logs/bigquery.googleapis.com%2Fstorage_write_api"，可直接查看服务端返回的详细错误信息，定位流打开失败的根源。
• 验证服务账号权限：确保Cloud Function使用的服务账号拥有roles/bigquery.dataEditor权限（用于操作BigQuery数据），以及logging.logWriter权限（确保日志能正常上报到Cloud Logging）。

二、自动转换Timestamp到Datetime #

BigQuery支持插入时自动完成Timestamp到Datetime的转换，无需额外处理：

• 直接写入Timestamp值：当向Datetime列写入Timestamp类型数据时，BigQuery会自动完成转换——两者均支持微秒精度，转换过程不会丢失数据。
• 注意时区差异：Timestamp是带UTC时区的类型，而Datetime是无时区类型。BigQuery会将Timestamp的UTC时间直接映射为Datetime值。如果业务需要特定时区的Datetime，可先将Timestamp转换为目标时区的时间（如通过Python的pytz或zoneinfo库处理），再写入BigQuery，系统会自动解析为对应时区的Datetime（若表列已指定时区）。

内容的提问来源于stack exchange，提问作者Etienne BEGUIER