AI 应用监控针支持对大模型（Large Language Model，LLM）应用进行观测，为 LLM 应用安装自研的 Python 探针后，可查看 LLM 应用在指定时间段内满足特定查询条件的会话列表、会话详情以及大模型链路相关 Trace 详情。本文为您详细介绍如何查看大模型会话分析。 ## 前提条件已经将 LLM 应用接入应用性能监控并开启自动埋点，具体操作参见：[Python 应用接入](https://www.volcengine.com/docs/6431/81123)。 ## 操作步骤 ### 步骤一：接入大模型会话分析成功接入并开启自动埋点后，确保已经能够自动完成对 LLM 应用的埋点和监控，正常产生对应的大模型 Trace 和 Metrics 的前提下，在代码侧传入会话分析相关的 metadata，即 session_id 和 user_id。以 Langchain 为例，调用 chain/agent 时，手动将 session_id、user_id 写入 config.metadata 中，示例代码如下： :::tip session_id 和 user_id 允许使用任意用于标识会话的字符串，相同 session_id 将被识别为同一个会话。 ::: ```Python # Your existing Langchain code to create the chain. ... # Pass session_id/user_id as metadata to the chain invocation. chain.invoke( {"animal": "dog"}, # your input config={ "metadata": { "session_id": "your-session-id", "user_id": "your-user-id", }, }, ) ``` ### 步骤二：查看大模型会话分析 1. 登录 [AI 应用监控](https://console.volcengine.com/observe/apmplus-server/region:apmplus-server+cn-beijing/server/trace/llmanalysis)，并在顶部导航栏选择项目和地域。 2. 在左侧导航栏选择 **LLM 会话分析**，前往 LLM 会话列表。 3. 根据时间、标签，以及会话 ID、Token 总数、用户 ID 等条件筛选会话，查询目标会话列表。会话列表支持查看会话相关基础信息，包括：会话 ID、耗时、Token 数、Input 数、Output 数、调用链数、用户 ID、开始时间等。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_91a5840046952b32414696ee3ded4ce0.png =988x) 4. 单击目标会话名称或右侧操作列中的 **详情**，可查看Total tokens、调用链数，以及每条调用链的开始时间、Input、Ouput、调用链 ID、用户 ID、Token 数、模型名称等详细信息。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_e290d080badd975c7ab3b6ca3ae28aa9.png =988x) 5. 单击调用链 ID，可跳转到 **LLM Trace 分析** 页面，查看大模型链路分析详细信息。链路分析相关详细介绍参见：[链路分析](https://www.volcengine.com/docs/6431/81116)。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_09896898538df8265a86fd5325d48ebf.png =988x)

全栈可观测平台