HDP 2.6.1环境下Hive配置aux jars路径后类找不到问题求助

我来帮你一步步排查并解决这个ClassNotFoundException的问题：

1. 先确认hive.aux.jars.path配置是否正确生效 #

你当前配置的是hdfs:///user/libs/，但这个路径是否真的包含了目标类所在的Jar包？

• 首先验证HDFS路径下的Jar包是否包含com.my.bigtable.example.model.gen.TSerializedRecord类：

  hdfs dfs -find /user/libs -name "*.jar" | xargs jar tf | grep TSerializedRecord
  

  如果没有输出，说明Jar包不在这个路径，或者Jar包里没有目标类，需要把正确的Jar包上传到/user/libs目录。
• 另外，HDP 2.6对应的Hive是1.2版本，hive.aux.jars.path如果只写目录，可能无法自动遍历加载所有Jar，建议直接明确指定Jar包路径：

  <property>
    <name>hive.aux.jars.path</name>
    <value>hdfs:///user/libs/example.jar,hdfs:///user/libs/example-spark-SerializedRecord.jar</value>
  </property>
  

2. 务必重启Hive相关核心服务 #

你提到重启了Hadoop组件，但HiveServer2和Hive Metastore服务需要单独重启——因为hive.aux.jars.path是在服务启动时加载的，只重启HDFS/YARN根本不会触发Hive重新加载Jar包：

• 如果用Ambari管理集群，直接在界面找到Hive服务，重启HiveServer2和Metastore；
• 如果是手动部署，执行对应命令：

  # 重启HiveServer2
  sudo service hive-server2 restart
  # 重启Metastore
  sudo service hive-metastore restart
  

3. 检查HDFS上Jar包的权限 #

Hive服务的运行用户（通常是hive用户）需要有Jar包的读权限，否则即便路径正确也无法加载：

• 查看权限：

  hdfs dfs -ls /user/libs/
  

• 如果权限不足，修改权限：

  hdfs dfs -chmod 644 /user/libs/*.jar
  hdfs dfs -chown hive:hadoop /user/libs/*.jar
  

4. 会话级临时应急方案 #

如果暂时无法重启服务，可以在Hive客户端里确保Jar包被正确加载：

• 先执行add jar命令，再用list jars确认Jar已加载：

  add jar hdfs:///user/libs/example-spark-SerializedRecord.jar;
  add jar hdfs:///user/libs/example.jar;
  list jars;
  

  确认列表里能看到这两个Jar后，再执行查询。
• 要是表还没创建，也可以在建表语句里直接指定SerDe的Jar路径：

  CREATE TABLE example_serealized_table (...)
  ROW FORMAT SERDE 'com.my.bigtable.example.model.gen.TSerializedRecord'
  WITH SERDEPROPERTIES (
    "serde.prop1"="value1"
  )
  STORED AS INPUTFORMAT 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat'
  OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'
  TBLPROPERTIES ("hive.serde.class.path"="hdfs:///user/libs/example.jar,hdfs:///user/libs/example-spark-SerializedRecord.jar");
  

5. 验证Metastore的类加载缓存 #

如果表是已存在的，Metastore会缓存类信息，所以必须重启Metastore服务，它才会读取新的Jar包并识别SerDe类。

按照以上步骤逐一排查，应该就能解决这个ClassNotFoundException的问题了。

内容的提问来源于stack exchange，提问作者Nikolay Baranenko