Apache Arrow Java是否原生支持S3、GCS及HDFS文件系统？

原生实现现状 #

• S3FileSystem：Arrow Java目前没有像pyarrow那样的原生S3文件系统实现，官方核心库未提供直接的S3文件系统抽象。
• GcsFileSystem：核心库中同样没有原生的GCS文件系统实现。
• HDFS：Arrow Java对HDFS的支持依赖于Hadoop客户端，并非完全原生的Arrow实现，但可通过集成Hadoop库实现HDFS文件操作。

替代集成方案 #

虽然没有原生实现，但可以通过以下方式对接对应存储：

1. S3/GCS：借助AWS SDK for Java、Google Cloud Storage Java Client等第三方客户端自行封装文件系统逻辑，或者基于Arrow Java的FileSystem抽象接口自定义实现，适配S3/GCS的读写操作。
2. HDFS：引入Hadoop相关依赖后，使用org.apache.arrow.hadoop包下的HadoopFileSystem类操作HDFS文件，示例代码如下：

import org.apache.arrow.hadoop.HadoopFileSystem;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;

Configuration conf = new Configuration();
// 配置HDFS namenode地址等参数
HadoopFileSystem hdfs = new HadoopFileSystem(new Path("/hdfs/file/path").getFileSystem(conf));
// 通过hdfs对象执行文件读写操作

官方版本计划 #

目前Arrow社区在推进云存储原生支持的工作，S3和GCS的原生文件系统实现处于开发测试阶段，部分功能已在Arrow Java的nightly构建或beta版本中提供预览，但尚未发布稳定版。可关注官方release notes和GitHub issue追踪进度。

内容的提问来源于stack exchange，提问作者Arjun Kashyap