EC2实例中Spark读取Parquet后df.show()卡住问题求助

• 检查S3A客户端配置
  确认Spark的S3访问配置是否正确，包括权限和超时设置：

  • 如果用密钥访问，确保fs.s3a.access.key和fs.s3a.secret.key配置无误；用IAM角色的话，验证角色是否有S3的读写权限。
  • 添加超时配置避免无限等待：

    spark.conf.set("fs.s3a.connection.timeout", "10000")
    spark.conf.set("fs.s3a.socket.timeout", "10000")
    

• 验证Parquet文件完整性
  写入过程中网络波动可能导致文件损坏：

  • 检查S3目标路径下是否存在_SUCCESS文件，缺失则说明写入未完成，重新写入：

    original_df.write.mode("overwrite").parquet("s3a://path")
    

  • 尝试重新生成Parquet文件，写入时合并小文件减少潜在问题：

    original_df.coalesce(1).write.mode("overwrite").parquet("s3a://path")
    

• 排查版本兼容性
  旧版Spark的S3A客户端可能存在bug：

  • 升级Spark到3.3+稳定版本，或者确保hadoop-aws依赖包版本与Spark兼容。

• 检查EC2网络环境
  网络配置异常会导致S3访问卡顿：

  • 如果EC2在VPC内，配置S3的VPC端点，让实例通过内网访问S3，避免公网延迟。
  • 确认EC2安全组允许HTTPS（443端口）出站访问。

• 读取时合并Schema
  若存在Schema不一致问题，添加合并配置：

  df = spark.read.option("mergeSchema", "true").parquet("s3a://path")
  df.show()
  

内容的提问来源于stack exchange，提问作者Anand