使用Iceberg GCSFileIO替代Hadoop FileIO时遇初始化错误求助

这个错误的核心原因是缺少Iceberg GCS FileIO的核心依赖包，以及Google身份验证相关的类库。Iceberg的GCSFileIO实现依赖自身的iceberg-gcp模块，同时需要Google Cloud的身份验证库来处理GCS的访问权限。

解决步骤： #

1. 添加必要的依赖

   • 如果是Maven项目，在pom.xml中加入以下依赖（替换为你使用的Iceberg版本）：

     <!-- Iceberg GCS FileIO核心依赖 -->
     <dependency>
         <groupId>org.apache.iceberg</groupId>
         <artifactId>iceberg-gcp</artifactId>
         <version>1.4.0</version> <!-- 替换为你的Iceberg版本 -->
     </dependency>
     <!-- Google Auth依赖，用于GCS身份验证 -->
     <dependency>
         <groupId>com.google.auth</groupId>
         <artifactId>google-auth-library-oauth2-http</artifactId>
         <version>1.20.0</version>
     </dependency>
     

   • 如果是PySpark提交作业，直接通过--packages参数引入依赖：

     spark-submit \
       --packages org.apache.iceberg:iceberg-gcp:1.4.0,com.google.auth:google-auth-library-oauth2-http:1.20.0 \
       your_spark_script.py
     

2. 确认Catalog配置正确性
   确保你的Iceberg Catalog配置中正确指定了GCSFileIO实现，示例配置如下：

   spark.sql.catalog.gcs_catalog=org.apache.iceberg.spark.SparkCatalog
   spark.sql.catalog.gcs_catalog.type=hadoop
   spark.sql.catalog.gcs_catalog.warehouse=gs://your-bucket/iceberg-warehouse
   spark.sql.catalog.gcs_catalog.io-impl=org.apache.iceberg.gcp.gcs.GCSFileIO
   # 可选：指定服务账号凭证路径（如果需要）
   spark.sql.catalog.gcs_catalog.gcs.service.account.path=/path/to/your-service-account-key.json
   

内容的提问来源于stack exchange，提问作者Prashant Kumar