Flink使用AWS S3访问点时报null uri host错误如何解决？

问题根因 #

该报错是因为Flink底层依赖的Hadoop S3A文件系统默认不支持S3访问点的ARN格式URI，解析这类URI时无法提取到合法的host字段，所以抛出null uri host的空指针错误。AWS CLI是官方原生支持访问点ARN格式的，所以可以正常使用。

解决方案 #

方案一：启用Hadoop S3A原生访问点支持

该方案无需修改业务代码，仅需要调整依赖和配置：

• 前提条件：项目使用的flink-s3-fs-hadoop依赖对应的Hadoop版本 >= 3.3.1
• 操作步骤：

1. 在Flink集群的flink-conf.yaml配置文件中添加以下配置：

# 开启S3访问点支持
fs.s3a.access.point.enabled: true
# VPC端点配置（按你实际的VPC端点、区域填写）
fs.s3a.endpoint: com.amazonaws.vpce.<你的VPC端点ID>.s3.ap-southeast-1.vpce.amazonaws.com
fs.s3a.endpoint.region: ap-southeast-1
fs.s3a.path.style.access: true

2. 代码中直接沿用原有ARN格式的S3 URI即可，无需修改业务逻辑。

方案二：低版本Hadoop兼容方案

如果依赖版本暂时无法升级，可以改用访问点专属端点的配置方式，不需要使用ARN格式URI：

1. 首先获取你的S3访问点专属域名，VPC内部访问格式为：<访问点名称>-<账号ID>.s3-accesspoint.ap-southeast-1.vpce.amazonaws.com
2. 在flink-conf.yaml中添加以下配置：

fs.s3a.endpoint: <上一步获取的访问点专属域名>
fs.s3a.endpoint.region: ap-southeast-1
fs.s3a.path.style.access: true

3. 代码中的s3Url改为普通桶路径格式即可，比如s3://<你的桶名>/<存储路径>，此时S3A会自动通过配置的访问点端点访问桶资源。

注意事项 #

• 确保Flink集群的执行角色（或你配置的访问密钥）拥有对应S3访问点和目标桶的读写权限
• 如果你当前使用的是flink-s3-fs-presto依赖，presto的S3文件系统对访问点的支持度更低，建议优先切换为flink-s3-fs-hadoop依赖处理该场景

内容的提问来源于stack exchange，提问作者wxh