使用Python查询GCP Stackdriver日志遇payload为None及payload_pb乱码问题

嘿，我来帮你搞定这个问题！你遇到的情况其实是GCP日志客户端默认没自动解析特定的protobuf格式日志，那些看起来像乱码的payload_pb其实是二进制的Protocol Buffers（简称protobuf）数据，对应google.cloud.audit.AuditLog类型（从你贴的type_url能看出来）。下面给你几个实用的解决办法：

这是最省心的方案——你只需要在初始化Client的时候加上use_proto_plus=True参数，客户端就会自动把protobuf格式的日志解析成字典或者易操作的对象，直接通过entry.payload就能拿到清晰的数据：

#!/usr/bin/python3
from google.cloud.logging import Client, DESCENDING

projectName = 'my_project'
myFilter = 'logName="projects/' + projectName + '/logs/compute.googleapis.com%2Factivity_log"'
# 启用proto_plus自动解析
client = Client(project=projectName, use_proto_plus=True)
entries = client.list_entries(order_by=DESCENDING, page_size=500, filter_=myFilter)

for entry in entries:
    if entry.payload:
        # 现在payload是解析后的字典/proto对象，直接打印或访问字段
        print(entry.payload)
        # 举个例子，直接取AuditLog里的用户信息
        # print(f"操作用户: {entry.payload.authentication_info.principal_email}")

要是你因为某些原因没法用use_proto_plus，也可以手动解析payload_pb里的二进制数据。首先得安装对应的依赖包：

pip install google-cloud-audit-log

然后修改代码来解析：

#!/usr/bin/python3
from google.cloud.logging import Client, DESCENDING
from google.cloud.audit_log_v1 import AuditLog
from google.protobuf.json_format import MessageToDict

projectName = 'my_project'
myFilter = 'logName="projects/' + projectName + '/logs/compute.googleapis.com%2Factivity_log"'
client = Client(project=projectName)
entries = client.list_entries(order_by=DESCENDING, page_size=500, filter_=myFilter)

for entry in entries:
    if entry.payload_pb:
        # 把二进制数据反序列化成AuditLog对象
        audit_log = AuditLog.deserialize(entry.payload_pb.value)
        # 转换成字典格式方便查看和处理
        audit_log_dict = MessageToDict(audit_log)
        print(audit_log_dict)

你还可以让查询更精准，只拉取你需要的日志条目，减少不必要的数据处理。比如只筛选Compute Engine的实例创建操作：

# 过滤条件新增methodName筛选
myFilter = 'logName="projects/' + projectName + '/logs/compute.googleapis.com%2Factivity_log" AND protoPayload.methodName="compute.instances.insert"'

• use_proto_plus=True是首选方案，它支持GCP大部分官方日志类型的自动解析，返回的数据结构友好，不用自己折腾protobuf的序列化/反序列化。
• 手动解析时，要确保导入的protobuf类和日志的type_url完全匹配，比如这里的google.cloud.audit.AuditLog对应google-cloud-audit-log库中的AuditLog类。

内容的提问来源于stack exchange，提问作者Rhinestone Cowguy