Hive 3.1.3连接PostgreSQL元数据时DBS表插入失败求助

问题根因 #

Hive 3.1.3的元数据schema相比3.1.0版本新增了CATALOG_NAME字段，而你的元数据库是基于3.1.0的schema初始化的，导致Hive 3.1.3启动时插入默认数据库的SQL与现有表结构不兼容。

解决方案 #

1. 确认元数据schema版本
   登录PostgreSQL执行查询，检查当前元数据版本：

   SELECT VER_COLUMN FROM VERSION;
   

   如果返回值不是3.1.3，说明schema未升级到对应版本。

2. 备份元数据（必做）
   用pg_dump备份整个Hive元数据库，避免操作失误导致数据丢失：

   pg_dump -U <hive_db_username> <hive_db_name> > hive_metadata_backup.sql
   

3. 升级元数据schema到3.1.3
   切换到Hive 3.1.3的安装目录，使用自带的schematool执行schema升级：

   schematool -dbType postgres -upgradeSchema -userName <hive_db_username> -passWord <hive_db_password>
   

   如果schematool升级失败，可手动执行Hive提供的postgres升级脚本：
   找到Hive安装目录下scripts/metastore/upgrade/postgres/路径中，对应从3.1.0到3.1.3的升级脚本（如upgrade-3.1.0-to-3.1.3.postgres.sql），执行：

   psql -U <hive_db_username> -d <hive_db_name> -f /path/to/upgrade-3.1.0-to-3.1.3.postgres.sql
   

4. 手动修复DBS表结构
   若升级后仍存在字段缺失问题，直接给DBS表添加CATALOG_NAME字段：

   ALTER TABLE DBS ADD COLUMN CATALOG_NAME VARCHAR(256) DEFAULT 'hive';
   

5. 验证修复效果
   启动Hive终端：

   hive
   

   执行show databases;，若能正常返回默认数据库（如default），说明问题解决。

注意事项 #

• 确保hive-site.xml中配置的元数据库连接信息（JDBC URL、用户名、密码）正确指向PostgreSQL实例。
• 执行schematool时必须使用Hive 3.1.3版本的工具，避免混用旧版本工具导致schema不兼容。
• Spark能正常连接是因为其对旧版本元数据schema有兼容性，但Hive 3.1.3自身依赖新字段，必须完成schema升级。

内容的提问来源于stack exchange，提问作者Harish