基于Redis队列在App Engine(Python)中实现Stackdriver日志记录的问询

看起来你已经搭好了基础框架，但现有代码还有几个关键问题需要调整，才能在App Engine环境下完美实现Redis队列异步记录Stackdriver日志的需求。我帮你梳理问题点，再给出优化后的落地方案：

现有代码的核心问题 #

• logging.warn(text) 不会返回日志文本，它只是触发日志输出，你拿到的log_text其实是None
• App Engine的文件系统是只读的（仅临时目录可写但不持久），写stack_log.txt的操作在生产环境会直接报错
• 没有真正实现异步日志记录——你的代码只是在主线程里做本地操作，没有把日志任务丢给Redis队列执行

优化方案步骤 #

1. 配置Stackdriver Logging客户端 #

App Engine标准环境默认集成了Stackdriver，但如果需要自定义日志结构（比如添加标签、结构化字段），建议用官方的google-cloud-logging库，它能直接把日志发送到Stackdriver，不需要本地文件中转。

2. 封装异步日志任务 #

RQ队列需要可序列化的函数，所以我们把日志记录逻辑抽成独立的任务函数，让Redis队列异步执行。

3. 适配App Engine环境 #

• 用Google Cloud Memorystore作为Redis服务（App Engine不能直接跑本地Redis）
• 把Redis连接信息通过环境变量配置，避免硬编码
• RQ Worker建议用Cloud Run或App Engine柔性环境部署，因为标准环境不支持长期运行的进程

修改后的完整代码示例 #

import logging
import os
import time
from redis import Redis
from rq import Queue
from google.cloud import logging as cloud_logging

# 初始化Stackdriver Logging客户端
client = cloud_logging.Client()
logger = client.logger("app-engine-redis-logger")

# 从环境变量读取Redis连接信息，避免硬编码
redis_conn = Redis(
    host=os.getenv("REDIS_HOST"),
    port=int(os.getenv("REDIS_PORT", 6379)),
    password=os.getenv("REDIS_PASSWORD", "")
)
q = Queue(connection=redis_conn)

def async_stackdriver_log(text):
    """异步日志任务：将日志发送到Stackdriver"""
    # 结构化日志，方便后续在Stackdriver中筛选查询
    logger.log_struct(
        {
            "message": text,
            "timestamp": time.strftime('%a, %d %b %Y %H:%M:%S %Z(%z)'),
            "log_source": "redis-queue-worker"
        }
    )
    return "Logged to Stackdriver successfully"

class SomeClass():
    def log_using_redis(self, text):
        # 将日志任务丢到Redis队列，异步执行
        job = q.enqueue(async_stackdriver_log, text)
        # 返回任务ID，方便后续查询任务执行状态
        return f"Logging task enqueued successfully. Job ID: {job.id}"

    def get(self):
        text = 'Hello, Logged Successfully!' + time.strftime('%a, %d %b %Y %H:%M:%S %Z(%z)')
        # 调用日志方法
        result = self.log_using_redis(text)
        return result

部署注意事项 #

• 依赖配置：在requirements.txt里添加依赖：

  redis
  rq
  google-cloud-logging
  

• App Engine环境变量：在app.yaml中配置Redis连接信息（REDIS_HOST、REDIS_PORT、REDIS_PASSWORD），并确保服务账号拥有Stackdriver Logging的写入权限
• RQ Worker启动：在Cloud Run或柔性环境中启动Worker，命令为：rq worker --url redis://<REDIS_HOST>:<REDIS_PORT>/0
• Redis网络配置：确保App Engine服务能访问Cloud Memorystore实例（配置VPC对等连接）

这样调整后，你的日志就会通过Redis队列异步发送到Stackdriver，完全适配App Engine的环境，也解决了本地文件写入的问题。

内容的提问来源于stack exchange，提问作者Praneeth Rajarikam