Spark读取CSV文件时而无限运行问题排查求助

一、依赖冲突问题 #

IDE开发环境的classpath大概率存在依赖冲突，导致GCS Connector无法正常工作：

• 检查IDE中Spark的Hadoop依赖版本：Spark 2.4.8默认绑定的Hadoop版本可能和GCS Connector要求的hadoop2-2.1.8不兼容。Spark自带的Hadoop jar可能覆盖了Connector需要的核心类，引发读取逻辑异常。
• 解决方法：在Maven/Gradle依赖中排除Spark自带的Hadoop相关依赖，强制引入与GCS Connector匹配的Hadoop版本；或者调整classpath顺序，让GCS Connector的jar优先级高于Spark自带的Hadoop jar。
• 对比Fat-JAR差异：Fat-JAR打包时通常会通过shade插件处理依赖冲突（比如重命名冲突类），而IDE运行时没有这个处理环节，这是导致本地与Dataproc运行结果不同的常见原因。

二、认证与权限配置差异 #

Dataproc集群默认使用集群绑定的服务账号访问GCS，而Compute Engine虚拟机的IDE环境可能认证配置不全：

• 验证虚拟机服务账号权限：确认运行Spark的虚拟机是否拥有目标GCS存储桶的storage.objects.list和storage.objects.get权限。部分文件读取成功可能是因为这些文件所在路径权限宽松，而其他路径的权限校验更严格。
• 检查认证方式：IDE中运行Spark时，需确保已正确设置GOOGLE_APPLICATION_CREDENTIALS环境变量，指向有效的服务账号密钥文件；如果使用Workload Identity Federation，需确认虚拟机已完成身份绑定配置。Dataproc会自动处理集群认证，无需手动配置，这是核心差异点。
• 核对Connector认证配置：在Spark配置中添加spark.hadoop.fs.gs.auth.service.account.enable=true等参数，确保Connector使用正确的服务账号认证方式。

三、Spark运行时配置差异 #

本地IDE的Spark本地模式配置与Dataproc的分布式配置存在显著差异，易导致部分文件读取超时：

• 资源配置调整：本地模式下默认的executor内存、CPU核心数不足，处理大文件或复杂CSV格式时容易卡住。可在Spark配置中增大spark.executor.memory、spark.driver.memory参数，提升资源分配。
• 添加Connector优化参数：Dataproc默认会配置GCS Connector的优化参数，比如：
  • spark.hadoop.fs.gs.inputstream.buffer.size=134217728（调大读取缓冲区至128MB）
  • spark.hadoop.fs.gs.implicit.dir.repair=true（自动修复目录列表异常）
  • spark.hadoop.fs.gs.metadata.cache.enable=true（启用元数据缓存）
    在IDE的Spark配置中添加这些参数，可匹配Dataproc的优化逻辑。
• 调整分区数：本地模式默认分区数过少，会导致单个任务处理的数据量过大。可通过spark.sql.shuffle.partitions设置合适的分区数，或在读取CSV时关闭自动Schema推断（option("inferSchema", "false")）减少开销。

四、本地环境的网络与IO限制 #

Compute Engine虚拟机的网络带宽、磁盘IO性能可能弱于Dataproc集群，引发读取超时：

• 测试网络连通性：在虚拟机中用gsutil cat gs://<你的存储桶>/<超时文件路径>直接读取文件，验证是否能正常获取内容，排除防火墙或网络带宽限制问题。
• 调整本地缓存配置：GCS Connector在本地模式下会使用本地磁盘缓存，若虚拟机磁盘空间不足或IO性能差，会导致读取缓慢。可配置spark.hadoop.fs.gs.cache.dir指向高速磁盘作为缓存目录，或临时禁用缓存（spark.hadoop.fs.gs.cache.enable=false）测试效果。

内容的提问来源于stack exchange，提问作者JanOels