从S3或本地路径下载/解析ORC文件时遇类找不到异常

一、修复本地文件读取的ClassNotFoundException #

1. 修正Configuration配置错误 #

你重复设置了fs.https.impl，覆盖了LocalFileSystem的配置，且本地文件系统对应的配置项应为fs.file.impl，正确配置如下：

Configuration conf = new Configuration();
// 配置本地文件系统实现类
conf.set("fs.file.impl", org.apache.hadoop.fs.LocalFileSystem.class.getName());
// 按需保留其他配置
conf.set("fs.hdfs.impl", org.apache.hadoop.hdfs.DistributedFileSystem.class.getName());
conf.set("fs.https.impl", org.apache.hadoop.fs.http.HttpsFileSystem.class.getName());

2. 确保依赖完整性 #

检查pom.xml中是否包含匹配版本的Hadoop与ORC依赖，ORC和Hadoop版本需兼容（如ORC 1.8.x对应Hadoop 3.x）：

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>3.3.4</version> <!-- 替换为你的Hadoop版本 -->
</dependency>
<dependency>
    <groupId>org.apache.orc</groupId>
    <artifactId>orc-core</artifactId>
    <version>1.8.2</version> <!-- 替换为你的ORC版本 -->
</dependency>

3. 明确本地文件路径 #

创建Path时添加file://前缀，确保Hadoop识别为本地文件：

return createReader(new Path("file://" + downloadPath.toString()), readerOptions(conf));

二、跳过本地下载，直接读取S3上的ORC文件（性能优化） #

无需将文件下载到本地，可通过Hadoop的S3文件系统直接读取ORC文件，节省磁盘IO与时间：

1. 配置S3文件系统参数 #

Configuration conf = new Configuration();
// 配置S3A文件系统实现类
conf.set("fs.s3a.impl", org.apache.hadoop.fs.s3a.S3AFileSystem.class.getName());
// 设置AWS凭证（推荐通过IAM角色或环境变量注入，此处为示例）
conf.set("fs.s3a.access.key", "你的AWS Access Key");
conf.set("fs.s3a.secret.key", "你的AWS Secret Key");
// 配置S3区域端点
conf.set("fs.s3a.endpoint", "s3.你的区域.amazonaws.com");

2. 直接读取S3上的ORC文件 #

Path s3Path = new Path("s3a://" + s3Bucket + "/" + fullPath);
try (OrcReader reader = OrcFile.createReader(s3Path, OrcFile.readerOptions(conf))) {
    // 获取记录阅读器处理数据
    try (RecordReader records = reader.rows()) {
        Object row;
        while (records.hasNext()) {
            row = records.next(row);
            // 处理单条记录逻辑
        }
    }
    return reader;
}

3. 添加hadoop-aws依赖 #

在pom.xml中添加与hadoop-client版本一致的hadoop-aws依赖：

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-aws</artifactId>
    <version>3.3.4</version> <!-- 与hadoop-client版本保持一致 -->
</dependency>

内容的提问来源于stack exchange，提问作者FluffyGus