K8S集群部署Hive元数据后，创建本地S3 Iceberg表失败求助

核心问题 #

错误hivetest.s3.amazonaws.com: Name or service not known表明系统仍在尝试访问AWS官方S3地址，而非你配置的本地S3服务，原因是Trino Iceberg连接器或Hive Metastore的S3配置未生效，同时配置中存在格式和冗余问题。

具体修复步骤 #

1. 修正Hive Metastore的hive-site.xml配置

• 移除fs.s3.path.style.access的重复配置项
• 清除fs.s3.endpoint值中的前后空格（当前配置里的<value> ip:port </value>包含无效空格），改为：

  <property>
      <name>fs.s3.endpoint</name>
      <value>ip:port</value>
  </property>
  

• 建议替换为Hadoop推荐的S3A实现（兼容性更强），将所有fs.s3前缀的参数改为fs.s3a：

  <configuration>
      <property>
          <name>fs.s3a.impl</name>
          <value>org.apache.hadoop.fs.s3a.S3AFileSystem</value>
      </property>
      <property>
          <name>fs.s3a.endpoint</name>
          <value>ip:port</value>
      </property>
      <property>
          <name>fs.s3a.path.style.access</name>
          <value>true</value>
      </property>
      <property>
          <name>fs.s3a.access.key</name>
          <value>{accessKey}</value>
      </property>
      <property>
          <name>fs.s3a.secret.key</name>
          <value>{secret}</value>
      </property>
      <property>
          <name>fs.s3a.connection.ssl.enabled</name>
          <value>false</value>
      </property>
  </configuration>
  

• 重启Hive Metastore服务使配置生效

2. 配置Trino的Iceberg连接器

Trino创建Iceberg表时依赖自身连接器配置，不会直接读取Hive Metastore的S3参数。在Trino的iceberg.properties文件中添加以下配置：

# 本地S3服务地址
iceberg.s3.endpoint=ip:port
# 启用路径风格访问，避免生成带bucket的域名
iceberg.s3.path-style-access=true
# S3认证密钥
iceberg.s3.access-key={accessKey}
iceberg.s3.secret-key={secret}
# 禁用SSL（根据本地S3实际配置调整）
iceberg.s3.ssl.enabled=false

• 重启Trino集群使配置生效

3. 修正建表语句的语法错误

你的建表语句中location值末尾缺少单引号，修正为：

create table if not exists lakehouse.test_schema.test_table(
col1 varchar
) with (
 location = 's3://hivetest/test_table'
)

4. 验证网络连通性

在Trino节点和Hive Metastore节点上，测试能否访问本地S3服务：

# 测试端口连通性
telnet ip port
# 或用curl验证服务状态
curl http://ip:port

确保K8S集群内的网络策略、防火墙规则未阻挡Trino和Hive Metastore访问本地S3服务。

内容的提问来源于stack exchange，提问作者Ada