本地PySpark连接GCP失败求助：NoClassDefFoundError异常

核心问题分析 #

抛出的java.lang.NoClassDefFoundError: com/google/api/client/auth/oauth2/Credential错误，本质是依赖缺失或版本冲突：

• 虽已放置google-api-client-2.0.0.jar，但该类的加载可能被冲突的依赖（如Guava版本）阻断；
• 同时存在guava-14.0.1.jar和guava-31.1-jre.jar，不同版本的Guava会引发类加载优先级冲突，导致核心依赖类无法正常加载。

分步解决方法 #

1. 清理冲突的Guava依赖 #

删除$SPARK_HOME/jars目录下的guava-14.0.1.jar，只保留guava-31.1-jre.jar。

原因：GCS Connector Hadoop3-2.2.8版本兼容较高版本的Guava，低版本Guava会与Spark自带或你添加的高版本依赖冲突，阻断核心类加载。

2. 补充缺失的必要依赖 #

检查$SPARK_HOME/jars是否包含以下JAR包，若缺失需添加：

• google-api-services-storage-v1-rev20221108-2.0.0.jar（GCS存储服务的API实现）
• google-http-client-jackson2-1.42.2.jar（JSON序列化依赖，与已有的google-http-client-1.42.2.jar版本匹配）
• jackson-core-2.14.2.jar（JSON核心依赖，版本需与google-http-client-jackson2兼容）

3. 简化并统一Spark配置 #

将所有Hadoop和GCS配置统一放到SparkSession.builder中，避免分散配置导致的优先级问题，修改后的代码如下：

from pyspark.sql import SparkSession

# 统一配置SparkSession
spark = SparkSession.builder \
    .appName('GCSFilesRead') \
    .config("google.cloud.auth.service.account.enable", "true") \
    .config("google.cloud.auth.service.account.json.keyfile", "/home/jovyan/work/gcs_admin.json") \
    .config("fs.gs.impl", "com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem") \
    .config("fs.AbstractFileSystem.gs.impl", "com.google.cloud.hadoop.fs.gcs.GoogleHadoopFS") \
    .getOrCreate()

# 无需单独设置GOOGLE_APPLICATION_CREDENTIALS，已通过Spark配置指定密钥文件
bucket_name = "mybucket"
path = f"gs://{bucket_name}/my_file.csv"

df = spark.read.option("header", True).csv(path)
df.show()

4. 验证Docker环境的JAR加载路径 #

由于使用jupyter/pyspark-notebook镜像，需确认放置JAR的$SPARK_HOME/jars路径是否正确。可以在Notebook中执行以下命令验证：

import os
print(os.environ.get('SPARK_HOME'))

若输出路径与放置JAR的目录不符，需将JAR移动到正确的$SPARK_HOME/jars路径下，或通过spark.driver.extraClassPath配置指定JAR目录：

spark = SparkSession.builder \
    ...
    .config("spark.driver.extraClassPath", "/path/to/your/jars/*") \
    .getOrCreate()

内容的提问来源于stack exchange，提问作者KIN SHING WONG