如何配置Google App Engine cron定时任务日志 实现按任务标识过滤查询

问题根因排查 #

控制台定时任务页面点击“查看日志”跳转后，自动携带的protoPayload.taskName、protoPayload.taskQueueName过滤条件，匹配的是Cloud Scheduler侧的系统调度日志（记录调度触发、投递结果等平台层行为），并不会抓取你Node.js服务输出的业务应用日志，因此会出现筛选无结果的情况。
你的业务日志基于Winston通过@google-cloud/logging-winston上传，所有自定义结构化字段都会存储在日志的jsonPayload结构下，和系统日志的protoPayload结构属于完全独立的存储分区。

标识字段获取路径 #

GAE平台在向你的服务投递cron请求时，会自动在请求头中携带所有关联标识，无需从配置文件中硬编码读取：

• taskQueueName：从请求头X-Goog-Appengine-QueueName读取，标准cron场景下返回值固定为__cron
• taskName：从请求头X-Goog-Appengine-Taskname读取，返回值为你在cron配置中定义的任务唯一名称
• 前置校验：可通过判断请求头X-Appengine-Cron: true是否存在，识别合法的平台cron请求，避免外部恶意请求伪造字段写入日志

基于现有logging-winston的适配方案 #

无需更换现有日志组件，仅需在现有请求链路中补充字段透传逻辑即可：

1. 在服务的请求处理中间件层，识别cron类型的请求
2. 读取请求头中的taskName、taskQueueName值，将其追加到当前请求的日志上下文中（你现有trace ID全链路日志的实现已经具备上下文透传能力，仅需在现有上下文中新增两个字段即可）
3. 后续所有该请求下的Winston日志，会自动把这两个字段写入日志的结构化payload中

参考实现片段（Express框架场景）：

// 注册在业务路由之前的cron日志关联中间件
app.use((req, res, next) => {
  // 校验合法cron请求
  if (req.headers['x-appengine-cron'] === 'true') {
    // 追加字段到现有请求日志上下文
    req.tracedLogContext = {
      ...req.tracedLogContext,
      taskName: req.headers['x-goog-appengine-taskname'],
      taskQueueName: req.headers['x-goog-appengine-queuename']
    }
  }
  next()
})

配置完成后，日志筛选时把原来控制台自动带的过滤条件替换为匹配jsonPayload字段即可：

jsonPayload.taskName="你的任务名称" AND jsonPayload.taskQueueName="__cron"

即可检索到所有cron请求对应的全链路业务日志。

跨语言通用实现逻辑 #

如果不使用logging-winston组件，核心实现逻辑完全通用：

• 所有GCP日志客户端上传的业务日志，自定义结构化字段默认存储在jsonPayload分区
• 在服务入口层识别cron请求，读取请求头中的任务、队列标识，在单条日志写入时追加对应结构化字段即可
• 不需要额外申请权限、修改平台采集配置，所有主流语言的GCP日志SDK均支持自定义字段写入

注意：不要尝试把自定义字段写入protoPayload结构，该分区属于平台系统日志专属，业务服务无写入权限。

内容的提问来源于stack exchange，提问作者mvlabat