如何通过Trino连接Azure ADLS/Blob Storage上的Iceberg表（无Hive）

问题背景 #

你之前通过JDBC Catalog成功连接S3上的Iceberg表，切换到Azure ADLS/Blob的abfss://路径时失败，现在需要不依赖Hive、用REST Catalog完成连接的方案。

核心方案说明 #

Iceberg REST Catalog可作为元数据服务层，底层仍可复用你现有的PostgreSQL元数据库，同时配合Trino的Azure存储依赖支持abfss协议，实现无Hive的连接。

步骤1：部署Iceberg REST Catalog服务 #

REST Catalog服务可将JDBC元数据存储暴露为REST接口，兼容你之前的PostgreSQL库：

1. 下载与Trino Iceberg连接器版本匹配的Iceberg REST Server包
2. 创建配置文件config.yml：

catalog:
  type: jdbc
  jdbc:
    url: jdbc:postgresql://127.0.0.1:5432/iceberg
    user: user
    password: pwd
warehouse: abfss://test@bla.dfs.core.windows.net
server:
  port: 8181

3. 启动REST服务：java -jar iceberg-rest-server-<version>.jar server config.yml

步骤2：配置Trino的Iceberg Catalog #

在Trino集群的etc/catalog目录下创建azure-iceberg.properties配置文件：

connector.name=iceberg
iceberg.catalog.type=rest
# 指向你部署的REST Catalog服务地址
iceberg.rest-catalog.uri=http://<rest-catalog-host>:8181
iceberg.rest-catalog.default-warehouse-dir=abfss://test@bla.dfs.core.windows.net

# -------------------------- Azure存储认证配置 --------------------------
# 根据你的Azure认证方式选择以下一种：

# 方式1：Azure AD服务主体认证
hadoop.azure.account.auth.type=OAuth
hadoop.azure.account.oauth.client.id=<你的服务主体ID>
hadoop.azure.account.oauth.client.secret=<你的服务主体密钥>
hadoop.azure.account.oauth.endpoint=https://login.microsoftonline.com/<你的租户ID>/oauth2/token

# 方式2：存储账户密钥认证
# hadoop.azure.account.auth.type=SharedKey
# hadoop.azure.account.key.bla=<你的存储账户密钥>  # 这里的`bla`是存储账户名

# 方式3：Azure托管身份认证（仅当Trino部署在Azure VM/AKS等支持MSI的环境）
# hadoop.azure.account.auth.type=MSI
# hadoop.azure.account.msi.client.id=<你的托管身份ID>

步骤3：确保Trino依赖齐全 #

Trino必须加载以下插件才能支持Azure存储和Iceberg REST Catalog：

• trino-iceberg：默认已包含，负责Iceberg连接
• trino-hadoop-azure：需手动下载并放到Trino的plugin目录，用于解析abfss协议和Azure认证

关键注意点 #

• 复用原有元数据库：REST Catalog的JDBC配置和你之前的JDBC Catalog一致，无需重新初始化元数据表
• 权限验证：确保Azure存储的认证主体（服务主体/账户/托管身份）拥有目标容器的Blob数据参与者权限
• 版本匹配：Iceberg REST Server的版本需与Trino Iceberg连接器版本兼容，避免出现API不匹配问题

测试验证 #

1. 重启Trino集群
2. 使用Trino CLI执行：

SHOW CATALOGS; -- 应能看到`azure-iceberg`
USE azure-iceberg.<你的数据库名>;
SHOW TABLES; -- 查看现有表，或创建测试表验证
CREATE TABLE test_table (id INT, name VARCHAR) WITH (format = 'PARQUET');

内容的提问来源于stack exchange，提问作者breadcrumb42