如何将REST Catalog连接到GCS上的Apache Iceberg

1. 纠正核心配置误解 #

你的iceberg.rest-catalog.uri配置错误：这个参数指向的是Iceberg REST Catalog服务的端点地址，而非GCS存储路径。GCS仅用于存储Iceberg表的元数据和数据文件，需要先部署Iceberg REST Catalog服务，由它对接GCS的元数据存储。

2. 部署Iceberg REST Catalog服务 #

推荐用Docker部署官方Iceberg REST服务器，步骤如下：

步骤1：创建服务配置文件 #

新建catalog.properties文件，填入以下内容：

catalog-impl=org.apache.iceberg.gcs.GcsCatalog
warehouse=gcs://<你的bucket名称>/thelook_ecommerce/iceberg
# 挂载的服务账号文件路径
gcs.service.account.path=/opt/iceberg/service-account.json

步骤2：启动Docker容器 #

挂载配置文件和服务账号JSON文件，启动REST服务：

docker run -p 8181:8181 \
  -v $(pwd)/catalog.properties:/opt/iceberg/config/catalog.properties \
  -v $(pwd)/<你的服务账号文件名>.json:/opt/iceberg/service-account.json \
  apache/iceberg-rest-server:latest

3. 配置Trino的Iceberg REST Catalog #

修改Trino配置目录下的rest.properties，内容如下：

connector.name=iceberg
iceberg.catalog.type=rest
# 指向你部署的Iceberg REST服务地址（Docker内部用容器名，外部用主机IP+端口）
iceberg.rest-catalog.uri=http://<rest-catalog-host>:8181
# 配置Trino访问GCS数据文件的服务账号认证
iceberg.gcs.service.account.path=/etc/trino/secrets/<你的服务账号文件名>.json
# 若REST服务启用了OAuth2认证（可选，默认无），添加以下配置：
# iceberg.rest-catalog.security=OAUTH2
# iceberg.rest-catalog.oauth2.client-id=<你的OAuth2客户端ID>
# iceberg.rest-catalog.oauth2.client-secret=<你的OAuth2客户端密钥>
# iceberg.rest-catalog.oauth2.token-uri=<你的OAuth2令牌地址>

Docker部署Trino的注意事项 #

• 将服务账号JSON文件挂载到Trino容器内的指定路径（如/etc/trino/secrets/）
• 确保Trino容器与Iceberg REST服务在同一Docker网络，或能通过主机网络访问到服务端点

4. 验证配置有效性 #

启动Trino后，通过CLI连接并执行以下命令验证：

SHOW CATALOGS;
USE rest.<你的数据库名称>;
SHOW TABLES;
SELECT * FROM <你的表名称> LIMIT 10;

关键权限说明 #

你的服务账号需具备GCS存储桶的storage.objectAdmin（读写元数据）和storage.objectViewer（读取数据文件）权限，否则会出现访问拒绝错误。

内容的提问来源于stack exchange，提问作者Filipe Pereira