Pig通过HCatStorer写入Hive表遇ClassNotFoundException及替代方案咨询

一、修复Pig+HCatStorer的ClassNotFoundException问题 #

这个错误源于HCatalog依赖的datanucleus相关包缺失或版本不匹配，服务器补丁更新可能改变了依赖环境，可按以下步骤处理：

• 补充依赖包：确保datanucleus-core和datanucleus-api-jdo两个jar包存在于Pig的classpath中，或在提交Pig脚本时通过-libjars参数指定：

  pig -libjars datanucleus-core-4.1.17.jar,datanucleus-api-jdo-4.1.17.jar your_json_load_script.pig
  

  注意版本要与当前Hive/HCatalog版本匹配，比如Hive 2.x系列通常对应datanucleus 4.x版本。
• 检查Hive配置：查看hive-site.xml中的datanucleus相关配置是否被补丁重置，确保以下参数配置正确：

  <property>
      <name>datanucleus.autoCreateSchema</name>
      <value>false</value>
  </property>
  <property>
      <name>datanucleus.fixedDatastore</name>
      <value>true</value>
  </property>
  

二、无需Json Serde加载JSON到Hive表的替代方法 #

方法1：使用Spark读取JSON写入Hive表 #

Spark支持直接解析JSON并写入Hive表，无需依赖Hive的Json Serde，示例代码（Scala）：

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()
  .appName("JsonToHive")
  .enableHiveSupport()
  .getOrCreate()

// 读取JSON文件（支持目录或单个文件）
val jsonDataFrame = spark.read.json("/user/data/json_files/")

// 写入Hive表，支持overwrite/append模式
jsonDataFrame.write.mode("overwrite").saveAsTable("Test_tbl")

提交任务时只需确保Spark环境已配置Hive支持，无需额外Serde配置。

方法2：Hive临时表+内置函数解析 #

适合结构简单的JSON数据，步骤如下：

1. 创建临时表存储原始JSON字符串：

   CREATE TEMPORARY TABLE temp_raw_json (json_content STRING);
   

2. 加载JSON文件到临时表：

   LOAD DATA INPATH '/user/data/json_files/' INTO TABLE temp_raw_json;
   

3. 用Hive内置get_json_object函数解析字段并插入目标表：

   INSERT INTO Test_tbl 
   SELECT get_json_object(json_content, '$.id'), get_json_object(json_content, '$.name') 
   FROM temp_raw_json;
   

方法3：Flume直接写入Hive（流式/批量数据） #

如果是实时或批量的JSON文件，可配置Flume的Hive Sink直接将数据写入Hive表，示例配置片段：

agent.sinks.hive-sink.type = hive
agent.sinks.hive-sink.hive.database = your_db
agent.sinks.hive-sink.hive.table = Test_tbl
agent.sinks.hive-sink.hive.partition = dt=20240520
agent.sinks.hive-sink.serializer = org.apache.flume.sink.hive.JSONSerializer

这种方式无需在Hive中配置Serde，由Flume完成JSON解析和写入。

内容的提问来源于stack exchange，提问作者Srini