如何在Flask中为匿名用户绑定独立ChatSession实例？

完全可以利用Flask Session为每个匿名用户绑定独立的ChatSession实例，解决多用户共用会话引发的竞态问题。以下是具体实现思路、代码示例和注意事项：

核心思路 #

• 全局复用ChatModel：ChatModel.from_pretrained()是资源密集型操作，只需在Flask应用启动时初始化一次，避免重复创建浪费资源。
• 按用户存储ChatSession状态：ChatSession的核心状态是会话上下文和历史消息，将这些可序列化的数据存储在Flask Session中，每个用户的会话相互独立。

实现代码示例 #

from flask import Flask, session, request, jsonify
import vertexai
from vertexai.language_models import ChatModel

app = Flask(__name__)
# 必须设置加密密钥，确保Session数据安全
app.secret_key = "your-strong-secret-key"

# 全局初始化ChatModel，仅在应用启动时执行
vertexai.init(project="your-gcp-project-id", location="your-gcp-region")
chat_model = ChatModel.from_pretrained("chat-bison@001")
generation_params = {
    "temperature": 0.2,
    "max_output_tokens": 256,
    "top_p": 0.8,
    "top_k": 40
}

@app.route("/chat", methods=["POST"])
def handle_chat():
    user_message = request.json.get("message")
    if not user_message:
        return jsonify({"error": "未提供消息内容"}), 400

    # 检查Session中是否存在会话历史，无则初始化
    if "chat_context" not in session or "chat_history" not in session:
        session["chat_context"] = "Context about the bot goes here"
        session["chat_history"] = []

    # 创建/恢复ChatSession
    chat_session = chat_model.start_chat(
        context=session["chat_context"],
        history=session["chat_history"]
    )

    # 获取模型回复
    model_response = chat_session.send_message(user_message, **generation_params)

    # 更新Session中的历史记录
    session["chat_history"] = chat_session.history

    return jsonify({"reply": model_response.text})

if __name__ == "__main__":
    app.run(host="0.0.0.0", port=8080)

关键注意事项 #

1. ChatSession序列化问题：ChatSession对象本身不可直接序列化存储，因此我们提取其context和history（可序列化为列表/字典）保存到Session，下次通过这些数据重新创建ChatSession即可恢复会话状态。
2. Cloud Run无状态适配：
   • Flask默认将Session存储在服务器内存中，当Cloud Run实例扩缩容或重启时，内存中的Session会丢失。如需持久化会话，建议使用服务器端Session存储（如Google Cloud Memorystore Redis），确保多个实例共享会话数据。
   • 务必设置强secret_key，Flask会用它加密Session数据后存在客户端Cookie中，防止数据被篡改。
3. 资源管控：每个会话的历史消息会占用内存，建议设置会话过期时间（通过Flask-Session扩展实现），自动清理长期不活跃的会话，避免实例内存耗尽。

可选替代方案 #

如果需要长期保存会话或支持跨设备同步，可以生成唯一会话ID存储在客户端Cookie中，将会话历史存储在数据库（如Cloud Firestore）或Redis中，通过会话ID关联用户与会话状态。

内容的提问来源于stack exchange，提问作者Kelly Norton