从GCS存储桶读取ORC文件时程序卡住，如何排查问题？

问题场景 #

尝试通过以下Scala代码从GCS存储桶读取ORC文件：

val hadoopConf = new Configuration()
hadoopConf.set("fs.gs.impl", "com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem")
hadoopConf.set("fs.AbstractFileSystem.gs.impl", "com.google.cloud.hadoop.fs.gcs.GoogleHadoopFS")
hadoopConf.set("fs.defaultFS", "gs://BUCKET_NAME")
hadoopConf.set("fs.gs.auth.service.account.enable", "true")
hadoopConf.set("fs.gs.auth.service.account.json.keyfile", System.getenv("GOOGLE_APPLICATION_CREDENTIALS"))
val filePath = "path/to/file.orc"
val reader = OrcFile.createReader(new Path(filePath), OrcFile.readerOptions(hadoopConf))

目标文件gs://BUCKET_NAME/path/to/file.orc确认存在，但程序运行后卡住，仅输出日志：

WARN  [.h.u.NativeCodeLoader] - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

使用的依赖清单：

"org.apache.hadoop"       % "hadoop-common"           % "3.2.1",
"org.apache.hadoop"       % "hadoop-hdfs"             % "3.2.1",
"org.apache.hadoop"       % "hadoop-hdfs-client"      % "3.2.1",
"com.google.cloud.bigdataoss" % "gcs-connector" % "hadoop2-2.2.0",

排查与解决步骤 #

1. 修正GCS连接器依赖版本 #

你使用的Hadoop版本是3.2.1，但当前GCS连接器是hadoop2-2.2.0——该版本仅兼容Hadoop 2.x系列，与Hadoop 3.x存在核心API兼容性冲突，会导致文件系统加载异常或程序阻塞。

将依赖替换为Hadoop 3兼容的版本：

"com.google.cloud.bigdataoss" % "gcs-connector" % "hadoop3-2.2.0"

建议选择与Hadoop 3.2.1匹配的最新稳定兼容版本（如hadoop3-3.2.0）。

2. 添加ORC核心依赖 #

当前依赖中缺少ORC文件读取的必要核心库，OrcFile.createReader需要ORC专属包支持。添加以下依赖：

"org.apache.orc" % "orc-core" % "1.6.7",
"org.apache.orc" % "orc-mapreduce" % "1.6.7"

1.6.x系列是适配Hadoop 3.x的稳定版本，可根据实际需求调整。

3. 使用完整GCS路径 #

虽然配置了fs.defaultFS，但相对路径可能存在解析歧义，直接使用完整路径避免路径识别问题：

val filePath = "gs://BUCKET_NAME/path/to/file.orc"

4. 验证认证配置有效性 #

• 确认GOOGLE_APPLICATION_CREDENTIALS环境变量指向的JSON密钥文件存在且程序有权限读取
• 检查该服务账号是否拥有目标存储桶的读取权限（需包含storage.objects.get权限）

5. 开启调试日志定位阻塞点 #

NativeCodeLoader的警告不影响功能，程序卡住的真实原因被隐藏。通过添加JVM参数开启DEBUG日志：

-Dorg.slf4j.simpleLogger.defaultLogLevel=debug

查看详细日志，确认是认证阶段、文件系统初始化还是ORC读取环节出现阻塞。

内容的提问来源于stack exchange，提问作者Nitish N Banakar