Docker Compose部署Trino+Hive Metastore+MinIO创建Schema失败求助

环境与背景 #

• 用Docker Compose部署MinIO、Hive Metastore（HMS）、Trino，均采用官方最新镜像
• MinIO Bucket已设为公开读写权限，HMS和Trino均配置了MinIO管理员令牌
• HMS的/opt/hive/metastore-site.xml中配置了存储基授权提供者：

<property>
    <name>hive.security.metastore.authorization.manager</name>
    <value>org.apache.hadoop.hive.ql.security.authorization.StorageBasedAuthorizationProvider</value>
</property>

错误现象 #

执行Trino CLI命令创建Schema：

trino --catalog hive
trino> create schema utm;

返回错误：

Query 20240426_232050_00000_hjrys failed: Failed to create
 external path s3a://utm/utm.db for database utm. This may 
result in access not being allowed if the StorageBasedAuthorizationProvider 
is enabled: null

解决方案 #

1. 补全HMS的S3客户端配置 #

StorageBasedAuthorizationProvider需要HMS能正常访问MinIO，需在metastore-site.xml中添加完整的S3参数：

<!-- MinIO服务地址，对应Docker Compose中的服务名 -->
<property>
    <name>fs.s3a.endpoint</name>
    <value>http://minio:9000</value>
</property>
<!-- MinIO管理员令牌 -->
<property>
    <name>fs.s3a.access.key</name>
    <value>你的MinIO访问密钥</value>
</property>
<property>
    <name>fs.s3a.secret.key</name>
    <value>你的MinIO密钥</value>
</property>
<!-- MinIO默认使用路径风格访问 -->
<property>
    <name>fs.s3a.path.style.access</name>
    <value>true</value>
</property>
<!-- 指定Hive仓库根路径，需确保该路径在MinIO中存在或可自动创建 -->
<property>
    <name>hive.metastore.warehouse.dir</name>
    <value>s3a://utm/warehouse</value>
</property>
<!-- 测试环境可关闭Schema校验避免版本兼容问题 -->
<property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
</property>

添加后重启HMS服务。

2. 同步Trino的Hive Catalog配置 #

确保/etc/trino/catalog/hive.properties中的S3参数与HMS一致：

connector.name=hive-hadoop2
hive.metastore.uri=thrift://hms:9083
hive.s3.endpoint=http://minio:9000
hive.s3.access-key=你的MinIO访问密钥
hive.s3.secret-key=你的MinIO密钥
hive.s3.path-style-access=true
hive.metastore.warehouse.dir=s3a://utm/warehouse
hive.security=allow-all

重启Trino服务。

3. 验证MinIO权限与路径 #

• 确认MinIO管理员令牌拥有s3:CreateBucket、s3:PutObject等权限（管理员令牌默认具备全权限，但需检查配置的密钥是否正确）
• 手动在MinIO中创建utm桶，或确保HMS有权限自动创建桶

4. 临时排查授权影响 #

若以上配置仍无效，可临时注释hive.security.metastore.authorization.manager配置，重启HMS后再次尝试创建Schema：

• 若成功，说明授权提供者与S3权限的交互存在问题，需进一步调整授权规则
• 若仍失败，聚焦排查S3客户端的连接与权限问题

内容的提问来源于stack exchange，提问作者Mustafa Qamaruddin