EMR中配置Presto的Hive连接器S3属性失败求助

你遇到的UNUSED PROPERTIES警告和重启失败问题，核心原因是你添加的hive.s3.*属性并不适用于当前Presto版本的Hive连接器——Presto的Hive连接器依赖Hadoop客户端库访问S3，S3相关的连接、重试参数需要通过Hadoop配置体系传递，而非直接使用hive.s3.*前缀。

下面是具体的解决步骤：

1. 正确配置逻辑说明 #

Presto Hive连接器本身不直接维护S3连接参数，而是复用Hadoop的S3客户端配置。因此你需要将S3相关配置映射到Hadoop的标准配置项中，再传递给Presto。

2. 两种可行的配置方法 #

方法一：通过Hadoop配置文件传递 #

• 编辑Hadoop的core-site.xml文件，添加以下S3配置（注意超时参数单位为毫秒）：

  <property>
      <name>fs.s3.maxConnections</name>
      <value>500</value>
  </property>
  <property>
      <name>fs.s3.connect.timeout</name>
      <value>300000</value> <!-- 对应5分钟，换算为5*60*1000毫秒 -->
  </property>
  <property>
      <name>fs.s3.socket.timeout</name>
      <value>300000</value>
  </property>
  <property>
      <name>fs.s3.maxRetries</name>
      <value>50</value>
  </property>
  

• 在/etc/presto/conf/catalog/hive.properties中添加指向该配置文件的参数：

  hive.hadoop.config.resources=/path/to/your/core-site.xml
  

  替换/path/to/your/core-site.xml为实际文件路径，确保Presto进程拥有读取权限。

方法二：直接在hive.properties中配置Hadoop参数 #

如果你的Presto版本在0.200及以上，支持直接在hive.properties中通过hive.hadoop.前缀设置Hadoop参数，无需单独编辑core-site.xml：

hive.hadoop.fs.s3.maxConnections=500
hive.hadoop.fs.s3.connect.timeout=300000
hive.hadoop.fs.s3.socket.timeout=300000
hive.hadoop.fs.s3.maxRetries=50

3. 验证与重启 #

• 先移除原来添加的未被识别的hive.s3.*属性，避免启动报错。
• 检查配置文件语法，确保没有拼写错误（比如属性名的大小写、连字符使用）。
• 重启Presto服务器，此时不会再出现UNUSED PROPERTIES警告，配置会正常生效。

补充说明 #

如果你使用的是Presto独立的S3连接器（而非通过Hive元数据访问S3），才需要使用s3.*前缀配置，但从你的配置路径hive.properties来看，你用的是Hive连接器，因此上述方法完全适用。

内容的提问来源于stack exchange，提问作者nish