Amazon Athena连接HBase时连接AWS Glue 443端口超时问题求助

类型自动转换问题修复 #

Athena HBase连接器默认开启字段类型探测，会将值格式匹配数字的字符串字段自动映射为BIGINT、DOUBLE等数值类型，修复方式如下：

• 打开Athena HBase连接器对应的Lambda函数配置页，在环境变量栏新增参数disable_type_probing，值设为true，保存配置后连接器会默认将所有HBase行键、列值映射为STRING类型，不再做自动类型推断。
• 若已有自动生成的表结构，直接在AWS Glue控制台找到对应表，修改所有字段的类型为STRING，保存后无需重建表即可生效。

Glue连接超时问题修复 #

该报错为连接器Lambda无法访问Glue服务端点导致的网络问题，根因是Lambda部署在VPC内时默认无法访问公网服务，修复方式如下：

• 首先确认Lambda函数的VPC配置：为了访问EMR上的HBase，你大概率已经将连接器Lambda加入了EMR所在的VPC，VPC内资源默认没有公网访问权限，无法连接公网的Glue服务端点。
• 任选以下一种方案修复网络：
  • 方案1：创建Glue VPC接口端点。在VPC控制台创建服务名称为com.amazonaws.us-east-2.glue的接口端点，关联Lambda所在的子网，同时安全组开放443端口的入站规则，允许Lambda所在安全组访问。
  • 方案2：给Lambda所在子网配置NAT网关，为子网内资源提供公网访问能力，即可正常访问公网Glue端点。
• 配置完成后等待3分钟左右网络规则生效，重新触发查询即可正常连接Glue。

内容的提问来源于stack exchange，提问作者Andrey Chuchalov