Presto Worker连接Hive Metastore的机制及后台执行流程问询

咱们先从你给出的Presto Worker配置细节入手，一步步拆解连接逻辑和后台流程：

你的集群配置背景 #

首先看你Presto Worker的catalog目录结构：

[root@presto_worker catalog]# ls -ltr
total 12
-rw-r--r-- 1 root root 247 Aug  5 14:30 jmx.properties
-rw-r--r-- 1 root root  54 Aug  5 14:30 memory.properties
-rw-r--r-- 1 root root 329 Aug  5 14:30 hive.properties

对应的hive.properties配置内容：

# connector.name=hive-hadoop2
hive.metastore.uri=thrift://hadoop01.sys65.com:9083,thrift://hadoop03.sys65.com:9083
hive.config.resources=/etc/hadoop/conf/core-site.xml,/etc/hadoop/conf/hdfs-site.xml
hive.parquet.fail-on-corrupted-statistics=false
hive.force-local-scheduling=true
hive.parquet.use-column-names=true

一、Presto Worker 是如何连接到 Hive Metastore 的？ #

核心逻辑其实都藏在你的hive.properties配置里：

1. 依赖Hive连接器：虽然你注释了connector.name=hive-hadoop2，但这是Presto与Hive Metastore交互的核心组件（大概率是你在其他全局配置里指定了，或者默认启用），它负责实现Presto和Hive Metastore之间的协议转换与通信。
2. Thrift协议通信：Presto Worker通过Thrift协议连接Hive Metastore，这是Hive Metastore对外暴露的标准通信协议，你的配置里hive.metastore.uri指定了两个Metastore节点的Thrift地址，Presto会自动做负载均衡和故障转移——如果其中一个节点挂了，会无缝切换到另一个。
3. 加载Hadoop配置打通数据链路：hive.config.resources加载了Hadoop的core-site.xml和hdfs-site.xml，这一步很关键：Hive Metastore只存元数据（比如表的存储路径、格式），实际数据在HDFS上，Presto需要这些配置来获取HDFS的访问权限、集群地址等信息，才能真正读取到数据。

二、Presto Worker 发起连接后的后台执行流程 #

当Presto Worker启动或者收到查询请求需要访问Hive元数据时，后台会按以下步骤执行：

• 步骤1：Catalog初始化：Presto Worker启动时会扫描catalog目录下的所有配置文件，加载hive.properties并解析所有配置项，初始化Hive连接器实例。
• 步骤2：创建Metastore连接池：根据hive.metastore.uri配置的多个地址，创建Thrift连接池，实现连接复用、负载均衡和故障转移——避免每次请求都新建连接，提升性能，同时保证单个Metastore节点故障不影响服务。
• 步骤3：身份与权限校验：如果你的集群配置了Kerberos认证，Presto会自动完成身份校验；如果是无认证或简单认证，会直接进入下一步。同时加载core-site.xml和hdfs-site.xml中的权限配置，确保后续能访问HDFS数据。
• 步骤4：元数据请求交互：当有查询请求（比如show tables、查询表数据）时，Worker会向Metastore发送Thrift请求，获取所需的元数据：比如数据库列表、表结构、分区信息、数据存储路径、文件格式等。
• 步骤5：连接池管理：连接池会自动复用闲置连接，当连接闲置超时、出现异常或达到最大连接数时，会自动回收或重建连接，保证连接的可用性。
• 步骤6：元数据缓存：Presto会将获取到的元数据（比如表结构、分区信息）缓存到本地，减少重复请求Metastore的次数，大幅提升查询响应速度——缓存会定期刷新，确保元数据的一致性。

内容的提问来源于stack exchange，提问作者Judy