如何让HMS日志携带queryId以追踪引发MySQL慢查询的Hive查询？

针对你的场景（需要关联HMS日志与HS2/beeline的queryId，以追溯导致MySQL慢查询的Hive操作），可以通过以下几种方式实现：

1. 启用Hive分布式追踪，统一生成traceId #

通过配置Hive的分布式追踪功能，让traceId贯穿HS2、HMS等组件，实现全链路请求关联：

• 在hive-site.xml中添加以下配置：

  <property>
      <name>hive.server2.trace.enabled</name>
      <value>true</value>
  </property>
  <property>
      <name>hive.metastore.trace.enabled</name>
      <value>true</value>
  </property>
  <!-- 以Jaeger为例配置追踪 exporter -->
  <property>
      <name>hive.trace.exporter.class</name>
      <value>org.apache.hive.common.trace.jaeger.JaegerTraceExporter</value>
  </property>
  <property>
      <name>hive.trace.jaeger.service.name</name>
      <value>hive-cluster</value>
  </property>
  <property>
      <name>hive.trace.jaeger.endpoint</name>
      <value>http://jaeger-collector:14268/api/traces</value>
  </property>
  

  配置后，HS2发起的每个请求会生成唯一traceId，HMS处理请求时会将该traceId写入日志，同时你也可以通过Jaeger UI查看全链路请求的关联关系。

2. 配置HMS日志注入queryId（基于MDC） #

HS2在调用HMS接口时，会将自身的queryId携带在请求上下文中，通过修改HMS的日志配置，可将该queryId写入日志：

• 修改HMS的log4j配置文件（如log4j.properties或log4j2.xml），调整日志格式，加入MDC中的queryId字段：
  以log4j.properties为例：

  log4j.appender.R.layout.ConversionPattern=%d{ISO8601} %p [%X{queryId}] [%t] %c{1}: %m%n
  

• 注意：该特性在Hive 3.0及以上版本默认支持，低版本Hive可能需要自定义扩展HMS的请求拦截逻辑，将HS2传递的queryId放入MDC。

3. 通过时间与操作对象反向关联（临时方案） #

如果暂时无法修改配置，可通过以下临时方式关联：

• 从MySQL慢查询日志中提取执行时间、操作的表/库名；
• 到HMS日志中筛选同一时间窗口内，针对相同表/库的元数据操作（如get_table、list_partitions等）；
• 再到HS2日志中匹配对应时间窗口的queryId，最终定位到触发慢查询的Hive语句。

内容的提问来源于stack exchange，提问作者Shakti Garg