基于OpenAI Assistant的长文档处理Web集成问题咨询

一、解决多用户文件信息混淆问题 #

• 用户专属线程隔离：为每个用户创建独立的Thread（对话线程），所有文件上传、查询请求都绑定到该用户的专属Thread。OpenAI Assistant的Thread天然隔离对话上下文与关联文件，从根源避免跨用户数据污染。
  • 核心代码示例（Python）：

    from openai import OpenAI
    client = OpenAI()
    
    # 绑定用户ID与线程ID（需存入数据库持久化）
    def init_user_thread(user_id):
        thread = client.beta.threads.create()
        # 示例：存入SQLite/MySQL等数据库
        db.execute("INSERT INTO user_threads (user_id, thread_id) VALUES (?, ?)", (user_id, thread.id))
        return thread.id
    
    # 向用户线程上传文件并关联
    def attach_file_to_thread(user_id, file_path):
        thread_id = db.execute("SELECT thread_id FROM user_threads WHERE user_id = ?", (user_id,)).fetchone()[0]
        # 上传文件到OpenAI
        file = client.files.create(file=open(file_path, "rb"), purpose='assistants')
        # 将文件关联到线程消息
        client.beta.threads.messages.create(
            thread_id=thread_id,
            role="user",
            content="基于该文档提取信息",
            attachments=[{"file_id": file.id, "tools": [{"type": "file_search"}]}]
        )
    

• 会话资源清理：用户注销或会话超时后，自动删除对应Thread及关联文件，避免无效数据堆积。可通过定时任务清理30天未活跃的线程资源。

二、解决长文档Token限额问题 #

• 文档分段预处理：将44000词的长文档按章节、主题分割为若干子文档（每个子文档控制在2000-3000词，对应token数约8000-12000），上传时分别关联到用户线程。查询时通过file_search工具批量检索相关分段，再由模型整合结果，大幅减少单次调用的token消耗。
• 索引式精准检索：先对文档进行预解析，生成关键词-章节映射的索引表。用户发起查询时，先匹配索引定位到相关章节，仅针对该章节的子文档调用模型，避免全文档遍历的token浪费。
• 优化工具调用逻辑：优先使用file_search工具而非直接将文档内容塞入prompt。该工具会自动检索匹配的文档片段传入模型上下文，仅计算实际使用片段的token，而非全文档token。
• 用量监控与降级策略：集成OpenAI的用量查询接口，实时监控token消耗。当接近每日限额时，自动切换至gpt-3.5-turbo-1106处理非核心查询，或提示用户调整查询范围。

内容的提问来源于stack exchange，提问作者WKMarwat