如何将Trino连接到MinIO存储上的Iceberg？连接器选型及报错求助

问题描述 #

我无法将Trino连接到运行在MinIO存储上的Iceberg。由于MinIO暴露S3 API，我原本认为AWS Glue连接器可以正常工作，但可能我的判断有误。此外我还尝试过REST连接器，但它发送的请求不符合S3规范（推测是URI路径问题）。

请问能否有人确认/否定Glue连接器是否适用于所有S3兼容存储，还是仅专门适配AWS Glue服务？

环境信息 #

• MinIO运行地址：http://svc.cluster.local:9000
• 补充说明：使用Apache Spark向MinIO加载Iceberg格式的数据时，连接无任何问题

Trino Iceberg连接器配置 #

connector.name=iceberg
iceberg.catalog.type=glue
hive.metastore.glue.endpoint-url=http://svc.cluster.local:9000
hive.metastore.glue.region=us-east-1
hive.metastore.glue.default-warehouse-dir=s3a://mzz/csv

报错信息 #

com.amazonaws.services.glue.model.AWSGlueException: null (Service: AWSGlue; Status Code: 400; Error Code: null; Request ID: null; Proxy: null)

问题解答 #

1. Glue连接器仅适配AWS Glue服务，不适用于MinIO这类S3兼容存储
   Trino的Iceberg Glue连接器是专门对接AWS Glue元数据服务的，并非用来连接S3兼容存储的工具。你将MinIO地址填入hive.metastore.glue.endpoint-url属于配置错误，该参数的作用是指定AWS Glue服务的端点，而非S3存储地址。

2. 正确配置方案：Hive元数据+S3兼容存储参数
   既然Spark能正常连接MinIO上的Iceberg，Trino可通过Iceberg的Hive catalog类型结合S3兼容存储配置实现连接：

   • 确保Trino的Iceberg连接器支持Hive catalog模式
   • 修改连接器配置文件，参考示例：

     connector.name=iceberg
     iceberg.catalog.type=hive
     hive.metastore.uri=thrift://your-hive-metastore:9083  # 填写Spark写Iceberg时使用的Hive元数据服务地址
     hive.s3.endpoint=http://svc.cluster.local:9000
     hive.s3.path-style-access=true
     hive.s3.access-key=your-minio-access-key
     hive.s3.secret-key=your-minio-secret-key
     hive.s3.aws-region=us-east-1
     iceberg.warehouse=s3a://mzz/csv
     

   • 关键配置说明：
     • 将iceberg.catalog.type设为hive，对接Hive元数据服务（若Spark使用的是其他元数据服务，需对应调整类型）
     • 配置Hive的S3兼容参数：hive.s3.endpoint指定MinIO地址，path-style-access设为true（MinIO默认使用路径风格访问），同时填入MinIO的访问密钥

3. 关于REST连接器的误区
   你尝试的REST连接器如果是Iceberg REST Catalog，它的请求是对接Iceberg REST Catalog服务的，并非直接对接S3存储，因此不存在符合S3规范的说法。若要使用REST Catalog，需先部署Iceberg REST Catalog服务，再让Trino对接该服务，同时在REST Catalog内部配置MinIO作为存储介质。

内容的提问来源于stack exchange，提问作者PowerfullDeveloper