Hive Metastore Docker容器配置及Trino Iceberg目录对接问题咨询

1. 当前指定HMS配置的方式是否正确？ #

你的配置方式存在几个关键问题，导致配置未生效或功能异常：

（1）端口映射错误 #

Docker Compose中HMS的端口映射写反了：

ports:
  - 9083:9803

Hive Metastore默认的Thrift端口是9083，正确的映射应该是9083:9083，否则Trino无法通过thrift://hms:9083连接到HMS。

（2）配置加载的潜在问题 #

虽然你设置了HIVE_CUSTOM_CONF_DIR: /custom-conf，但需要确保：

• 本地./hive/目录下同时存在hive-site.xml和core-site.xml两个文件
• HMS启动日志中明确显示已加载/custom-conf下的配置（可通过docker logs hms查看）

（3）Jar包缺失导致配置未生效 #

HMS访问MinIO需要依赖Hadoop AWS相关Jar包（如hadoop-aws、aws-java-sdk-bundle）以及Iceberg与HMS集成的Jar包（iceberg-hive-metastore），如果这些Jar包没有正确挂载到HMS的lib目录（apache/hive:4.0.0的默认lib路径为/usr/local/hive/lib），即使配置正确，HMS也无法识别s3a协议，自然不会报错（因为根本没加载到对应的实现类）。

2. 如何配置HMS成为Trino可使用的Iceberg目录？ #

以下是完整的配置步骤，包含错误修复和必要的集成配置：

步骤1：修正Docker Compose的HMS配置 #

hms:
  image: docker.io/apache/hive:4.0.0
  ports:
    - 9083:9083  # 修正端口映射
  environment:
    SERVICE_NAME: metastore
    HIVE_CUSTOM_CONF_DIR: /custom-conf
  volumes:
    - ./hive/:/custom-conf/  # 挂载配置文件
    # 挂载所需Jar包到HMS的lib目录（版本需与Hive、Iceberg匹配）
    - ./hive-jars/hadoop-aws-3.3.4.jar:/usr/local/hive/lib/hadoop-aws-3.3.4.jar
    - ./hive-jars/aws-java-sdk-bundle-1.12.592.jar:/usr/local/hive/lib/aws-java-sdk-bundle-1.12.592.jar
    - ./hive-jars/iceberg-hive-metastore-1.4.0.jar:/usr/local/hive/lib/iceberg-hive-metastore-1.4.0.jar

步骤2：完善HMS的配置文件 #

（1）更新hive-site.xml，添加Iceberg集成配置

<configuration>
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>s3a://warehouse/</value>
        <description>Location of the default database for the warehouse</description>
    </property>
    <!-- 必须添加Iceberg元数据监听器，实现HMS与Iceberg的元数据同步 -->
    <property>
        <name>hive.metastore.event.listeners</name>
        <value>org.apache.iceberg.hive.HiveMetastoreEventListener</value>
    </property>
    <!-- 禁用Hive的元数据缓存，避免Iceberg元数据不同步 -->
    <property>
        <name>hive.metastore.cache.pinobjtypes</name>
        <value>Table,Database,Type,Partition</value>
    </property>
</configuration>

（2）确保core-site.xml配置完整

你的现有core-site.xml配置基本正确，可补充连接池配置避免超时：

<configuration>
    <property>
        <name>fs.s3a.impl</name>
        <value>org.apache.hadoop.fs.s3a.S3AFileSystem</value>
    </property>
    <property>
        <name>fs.s3a.access.key</name>
        <value>minioadmin</value>
    </property>
    <property>
        <name>fs.s3a.secret.key</name>
        <value>minioadmin</value>
    </property>
    <property>
        <name>fs.s3a.endpoint</name>
        <value>http://minio:9000</value>
    </property>
    <property>
        <name>fs.s3a.path.style.access</name>
        <value>true</value>
    </property>
    <property>
        <name>fs.s3a.connection.ssl.enabled</name>
        <value>false</value>
    </property>
    <!-- 补充连接池配置 -->
    <property>
        <name>fs.s3a.connection.maximum</name>
        <value>50</value>
    </property>
</configuration>

步骤3：修正Trino的Iceberg连接器配置 #

显式指定目录类型为Hive，确保配置与HMS一致：

connector.name=iceberg
# 显式指定Iceberg目录类型为Hive
iceberg.catalog.type=hive
hive.metastore.uri=thrift://hms:9083

# S3配置保持与HMS一致
fs.native-s3.enabled=true
s3.region=eu-north-1
s3.endpoint=http://minio:9000
s3.path-style-access=true
s3.aws-access-key=minioadmin
s3.aws-secret-key=minioadmin

步骤4：启动与验证 #

1. 先启动MinIO，并确保已创建名为warehouse的Bucket（可通过MinIO控制台或mc mb minio/warehouse命令创建）
2. 启动HMS，查看日志确认无错误：
   • 日志中出现Loaded configuration file from /custom-conf/hive-site.xml和Loaded configuration file from /custom-conf/core-site.xml
   • 无连接MinIO的权限错误或协议错误
3. 启动Trino，进入Trino CLI执行测试命令：

   CREATE SCHEMA iceberg.warehouse;
   CREATE TABLE iceberg.warehouse.test_table (id INT, name VARCHAR);
   INSERT INTO iceberg.warehouse.test_table VALUES (1, 'test');
   SELECT * FROM iceberg.warehouse.test_table;
   

   如果所有命令执行成功，说明配置生效。

内容的提问来源于stack exchange，提问作者Khanetor