Apache Drill连接GCS查询Parquet文件失败求助

1. 核心问题：缺失GCS Hadoop连接器依赖 #

报错ClassNotFoundException: com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem说明Drill的类路径中没有GCS Hadoop文件系统的实现jar包，这是最关键的遗漏步骤：

• 下载与你的Drill版本兼容的Google Cloud Hadoop GCS连接器及相关依赖jar包：
  • 先确认Drill内置的Hadoop版本（可查看$DRILL_HOME/jars/hadoop目录下的jar版本，或通过drillbit.sh status查看），选择对应版本的GCS连接器（比如Drill 1.21对应Hadoop 3.3.4，可选用gcs-connector-hadoop3-2.2.10.jar）
  • 需下载的核心jar包括：gcs-connector-hadoop3-xxx.jar、google-auth-library-oauth2-http-xxx.jar、google-cloud-storage-xxx.jar等
• 将所有下载的jar包复制到Drill的第三方依赖目录：$DRILL_HOME/jars/3rdparty/
• 确保Drill运行用户对这些jar包有读取权限

2. 修正存储插件配置 #

你之前的storage-plugins-override.conf配置格式不符合Drill规范，正确的GCS存储插件配置如下：

{
  "gcs": {
    "type": "file",
    "connection": "gs://<your-bucket-name>",
    "config": {
      "fs.gs.impl": "com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem",
      "fs.gs.project.id": "<your-project-id>",
      "google.cloud.auth.service.account.enable": "true",
      "google.cloud.auth.service.account.json.keyfile": "/absolute/path/to/your/service-account-key.json"
    },
    "formats": {
      "parquet": {
        "type": "parquet"
      },
      "json": {
        "type": "json"
      }
    },
    "enabled": true
  }
}

• 若已在core-site.xml中配置过Hadoop GCS参数，可不在存储插件的config中重复配置，但需确保core-site.xml放在$DRILL_HOME/conf目录下，让Drill能正确加载

3. 验证配置与重启 #

• 保存配置后重启Drill服务：$DRILL_HOME/bin/drillbit.sh restart
• 进入sqlline客户端执行show schemas;，此时应能看到gcs schema
• 测试查询Parquet文件：SELECT * FROM gcs.<your-parquet-file-path> LIMIT 10;

额外注意事项 #

• 服务账号密钥文件必须使用绝对路径，且Drill运行用户拥有该文件的读取权限
• 确保GCS Bucket的权限配置正确：服务账号需拥有storage.objectViewer及以上权限（在GCP IAM中配置）
• 若使用Drill Web UI配置存储插件，直接填入上述完整JSON配置即可，无需依赖core-site.xml的配置

内容的提问来源于stack exchange，提问作者Dheeraj P