Trace 分析通过 Trace 上报的 Span 信息和关联日志信息，提供链路分析、单链路检索等能力，有助于故障排查、性能优化和系统监控，提高运维效率。本文针对通用 AI 应用监控为您详细介绍如何使用 LLM Trace 分析。 ## 背景信息 * Span 是分布式跟踪中的基本工作单元，代表系统中执行的一个操作，例如：一次数据库查询、一个函数执行、一次远程服务调用等。每个 Span 拥有唯一标识，附带操作名称、开始时间、结束时间、标签、日志等关键属性。 * Trace 是由多个 Span 组成的有向无环图，代表一个请求在分布式系统中的完整调用链。每个 Trace 拥有全局唯一的标识符，所有属于同一请求的 Span 都将被关联到此 Trace。Trace 和 Span 之间存在父子关系，这种关系有助于理解请求在系统中的执行链路，方便链路追踪。 ## 前提条件已经将 LLM 相关应用接入 AI 应用监控，并正常上报观测数据。不同语言的接入方式各不相同，更多详细说明参见：[接入方式](https://www.volcengine.com/docs/86845/1928302)。 ## 使用限制若需要查看性能分析或错误传播链分析，要求至少完成 Span 类型、服务名称、接口名 3 个筛选，否则无法获取分析数据。 ## 操作步骤 ### 步骤一：Trace 数据筛选 1. 登录 [AI 应用监控](https://console.volcengine.com/observe/apmplus-server/region:apmplus-server+cn-beijing/server/trace/llmanalysis)，并在顶部导航栏选择项目和地域。 2. 在左侧导航栏选择 **LLM Trace 分析**，前往 LLM Trace 分析页面。 3. 根据实际情况筛选需要分析的 Trace 数据，目前提供多种数据筛选方式。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_9c02aa9512d72d4ff076312bc05718ac.png =987x) :::tip 所有筛选项和筛选规则均按“与”逻辑生效，即满足所有条件的数据才会被筛选并用数据分析。 * 目前支持 6 类筛选项，不同类型筛选项按“与”逻辑生效，即满足所有筛选项条件的数据才会被筛选出来。 * 部分筛选项支持配置多条筛选规则，例如：标签筛选、Span 属性筛选。相同筛选项中多个筛选规则按“与”逻辑生效，即满足所有筛选规则的数据才会被筛选出来。 ::: |序号 |筛选项 |说明 | |---|---|---| |1 |聚合方式 |图表中数据展示的聚合方式。|\ | | ||\ | | |* 自动聚合：动态聚合方式，根据筛选的数据量，自动选择合适的聚合时间进行数据展示。|\ | | |* 指定聚合时间：静态聚合方式，根据指定的聚合时间进行数据展示。最少支持按 30 秒聚合，最多支持按 1 天聚合。 | |2 |时间范围 |数据筛选的时间范围。支持手动刷新数据或自动刷新数据，可根据实际需求配置。|\ | | ||\ | | |* 按最近筛选：根据当前时间，动态筛选最近时间段内的 Trace 数据，例如：筛选最近 1 小时的数据。|\ | | |* 指定时间范围：指定时间范围，静态筛选某个时间段内的 Trace 数据，例如：筛选 2025\-11\-08 00:00:00 到 2025\-11\-10 00:00:00 时间段内的数据。 | |3 |标签筛选 |根据标签键值对进行数据筛选。最多支持配置 20 个标签，多个标签按“与”逻辑生效，即命中所有标签的数据才会被筛选出来。 | |4 |AI 应用 Trace 分析 |AI 数据筛选开关。|\ | | ||\ | | |* 开启：（默认）仅筛选 AI 应用相关 Trace 数据。|\ | | |* 关闭：未针对 AI 进行筛选，不管是 AI 应用还是非 AI 应用的数据，均会被筛选出来。 | |5 |Span 属性筛选 |根据 Span 键值对进行数据筛选。支持配置多条 Span 属性，多个 Span 属性规则按“与”逻辑生效，即匹配到所有 Span 属性的数据才会被筛选出来。 | |6 |其他属性筛选 |多个 Trace 关联信息的筛选项，用于精细化筛选，例如：Trace ID、Span 类型、服务名、接口名、模型名称、AI Span 类型等。多个筛选项按“与”逻辑生效，即匹配到所有筛选规则的数据才会被筛选出来。 | ### 步骤二：Trace 数据分析数据筛选完成后，即可对数据进行分析和链路追踪，目前提供 Span 列表、性能分析、错误传播链分析。 ```mixin-react return ( ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_8fc2b04a3a19acd14d82fb25387d6303.png =976x) #### Span 上报量趋势展示当前筛选数据的 Trace 上报量趋势，可视化直观查看 Trace 上报量的健康状况，有助于故障排查定位、性能评估、容量规划等。例如：某个时间点 Trace 上报量突然大幅增加，可能意味着系统出现异常活动，可结合时间点和其他观测指标，快速定位问题发生的具体服务。 #### Span 列表 Trace 列表将列举当前筛选范围内的所有 Trace，并展示 Trace 相关详细信息，例如：TraceID、Input/Output、模型名称、Total Tokens、AI Span 类型、开始时间、耗时、服务名、接口名、操作、会话 ID 等。 * Trace 列表支持按照 Total Tokens、Input Tokens、Output Tokens、开始时间和耗时进行排序，用于快速定位错误和慢查询。其中， Total Tokens、Input Tokens、Output Tokens 和耗时仅支持对时间跨度不超过 24 小时的数据进行耗时排序。 * 单击 Trace 列表右上角设置按钮，支持自定义配置需要展示的信息及其信息展示顺序。 * 单击 Trace 列表右上角刷新按钮，支持手动刷新 Trace 列表中的数据。 `}> ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_1c4dd0a5b0d0f8b3f44089cbd369c4a5.png =976x) #### 耗时分布通过可视化方式展示耗时分布图表，方便快速定位不同耗时段的 Span 个数和样例列表。具体工作原理：将根据左侧查询条件筛选出来的 Span，按照 Span 耗时排序，然后平均拆分到 50 个柱状图中，每个柱状图最多 5 个相关样例。单击柱状图，可弹出样例列表。单击样例列表右侧操作列中的 **查看 Trace**，可查看具体的单链路详情。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_e875f8ec2fd6ec0768dc09299ba61809.png =976x) #### 链路耗时列表链路耗时列表是将符合筛选条件的 Trace 列表进行聚合分析的结果，其中，根节点为满足查询条件的 Span，其他节点为该节点的下游节点，聚合分析的结果包含下面的字段： |**字段** |**字段说明** |**举例** | |---|---|---| |链路 |\`{服务名}::{接口名}\`，其中，如果该节点只存在 ServerSpan，取 ServerSpan 的服务名和接口名；如果该节点存在 ClientSpan 和 ServerSpan，取 ServerSpan 的服务名以及取 ServerSpan 的接口名；如果该节点只存在 ClientSpan，直接取下游的服务名和接口名。 |server_b::/resource_bb|\\ | | | | |Span 数/请求倍数 |Span 数表示在所有 Trace 中出现的 Span 数量。Trace 数量表示所有 Trace 中包含当前 Span 的 Trace 的数量。|256 / 135.45% |\\ | |请求倍数 = Span 数量 / Trace 数量。 | | |请求数/请求比例 |请求数表示所有 Trace 中包含当前 Span 的 Trace 的数量。|189 / 100.00% |\\ | |请求比例 = 请求数量 / 根节点请求数量。 | | |错误请求数/错误请求比例 |错误请求数表示所有 Trace 中包含当前 Span，且该 Span 状态为错误的数量。|0 / 0.00% |\\ | |错误请求比例 = 错误请求数 / 根节点请求数量。 | | |耗时 |耗时表示该节点在多个 Trace 的平均值，其中，如果某节点被上游节点重复调用多次，以占用的总时间为准。 |1.40s | |最大子树节点数 |最大子树节点数表示所有 Trace 中子树节点数的最大值。其中，子树节点数表示单个 Trace 中该节点的所有子树节点（只统计 Client 和 Server Span）总数之和。 |20 | |平均网络调用耗时 |平均网络调用耗时 = 该节点上游调用的 Client Span 耗时 \\- 该节点的本地 Server Span 耗时。 |646.70μs | |平均本地净耗时 |平均本地净耗时 = 该节点的 Server Span \\- 所有下游 Client Span 时间占用。 |72.79μs | |标记 |包含子树节点数过大以及重复调用两个标记，其中，子树节点数过大表示某个节点的子树节点数过大（\\>50）；重复调用表示请求倍数过大（\\>5）。 |重复调用 | 单击链路耗时列表右侧操作列中的 **查看 Span**，可查看 Span 样例。单击样例列表右侧操作列中的 **查看 Trace**，可查看具体的单链路详情。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_f60c6a4709bf3ea9571489aabd066693.png =976x) `}> ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_1517ce950fc3c8e0b6ca1597ce100de7.png =976x) #### 错误影响面分析用于分析当前分析节点的错误往哪些上游节点传播、具体传播路径以及影响程度。例如：\`java_server_d\` 的 \`/java_service_d/http\` 接口错误传播到了上游节点 \`java_server_b\`，传播比例为 100%。聚合分析的结果包含以下字段： |

|\\ |字段

|字段说明

|举例

|\\ | | | | |---|---|---| |链路 |展示名根据不同 Span 类型取值不同，其中，server 类型为\`{服务名}::{接口名}\`，client 类型为\`{服务名}->{下游服务名}::{接口名}\`，common 类型为\`{服务名}::{操作名}\`。 |java_server_d::/java_service_d/http | |调用次数 |该节点在分析的错误 Trace 中总共出现的次数。|200 |\\ | | | | |错误数 |该节点在分析的错误 Trace 中总共发生错误的次数。 |200 | |错误率 |错误率 = 错误数 / 调用次数。 |100% | |传播比例 |该节点的错误在错误链路中的传播比例。传播比例 = 该节点错误数 / 错误 Trace 总数。 |10.00% | |错误详情 |显示所有链路中该节点发生错误的错误类型示例。单击右侧操作列中的 **更多**，可跳转到错误详情页面。单击错误详情右侧操作列中的链路，可查看具体的单链路详情。|java.lang.RuntimeException|\\ | |![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_bd1a3848ca0be12309def80e94c1e9dc.png =704x) | | #### 错误源分析用于分析当前分析节点的错误主要下游来源、传播链路以及各节点的错误贡献度。例如：\`java_server_d\` 的 \`/java_service_d/http\` 接口错误是由下游节点 \`java_server_d\` 服务的 \`spring.controller\` 接口导致，贡献率为 100%。聚合分析的结果包含以下字段： |

|\\ |字段

|字段说明

|举例

|\\ | | | | |---|---|---| |链路 |展示名根据不同 Span 类型取值不同，其中，server 类型为\`{服务名}::{接口名}\`，client 类型为\`{服务名}->{下游服务名}::{接口名}\`，common 类型为\`{服务名}::{操作名}\`。 |server_b::/resource_bb|\\ | | | | |调用次数 |该节点在分析的错误 Trace 中总共出现的次数。|200 |\\ | | | | |错误数 |该节点在分析的错误 Trace 中总共发生错误的次数。 |200 | |错误率 |错误率 = 错误数 / 调用次数。 |100% | |贡献率 |该节点的错误在错误链路中的贡献度。计算公式为：该节点错误数/错误 Trace 总数。 |10.00% | |错误详情 |显示所有链路中该节点发生错误的错误类型示例。单击右侧操作列中的 **更多**，可跳转到错误详情页面。单击错误详情右侧操作列中的链路，可查看具体的单链路详情。|java.lang.RuntimeException|\\ | |![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_bd1a3848ca0be12309def80e94c1e9dc.png =708x) | | `}>); ``` ### 步骤三：查看单链路详情 **Trace 详情** 单击 TraceID，可跳转到单链路详情页面。切换到 Trace 详情页签，支持查看完整请求链路和 Span 相关详细信息，方便精细化数据分析。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_8be70322ede124a5bdf0eeb117e13bf0.png =987x) |序号 |模块 |说明 | |---|---|---| |1 |Trace 信息 |显示当前 Trace 相关详细信息，例如：Trace ID、开始时间、总耗时、应用数、Span 数等。 | |2 |视图切换 |提供列表、拓扑图、火焰图 3 种视图，可根据实际场景选择合适的视图，查看 Span 详情。|\ | | ||\ | | |* 列表：信息全面，方便快速筛选和 Span 查找。|\ | | |* 拓扑图：直观展示链路关系，快速定位问题的上下游关键节点。|\ | | |* 火焰图：可视化性能分析，有利于深入分析函数调用关系。 | |3 |Span 筛选 |快捷筛选按钮，提供组件标签、大模型组件标签、查看异常 Span、按关键字搜索。 | |4 |Span 视图 |Span 详细视图，可选用合适视图进行故障分析或性能分析等。 | |5 |Span 详情 |单击目标 Span，支持查看 Span 相关详细信息，包括：基本信息、LLM 数据、属性、资源、事件等 Span 相关详细信息，以及进程、容器、LLM 等 Span 相关指标详情。|\ | | |:::tip|\ | | |当前链路追踪相关的服务存在大模型数据时，才会展示 LLM 数据和 LLM 指标相关信息。|\ | | ||\ | | |:::| **Trace 完整日志** 切换到 Trace 完整日志页签，可以按照时间线查看请求路径上所有服务的相关日志，包括正常日志和错误日志，帮助问题排查具体问题。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_81c95b2ff60283201b86821f857ac375.png =987x) ## 后续操作针对 AI 应用相关 Trace 列表提供 **Span 导出** 功能，可将 Span 信息导出用于其他深度分析。更多详细说明参见：[Span 导出](https://www.volcengine.com/docs/6431/1952026)。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_b42f31d690d8f84508b4195b485f6be4.png =987x)

全栈可观测平台