2023年本地运行Spark/PySpark读取S3失败问题排查

在部署到AWS EMR前，若你本地运行Spark/PySpark代码测试逻辑时，使用了s3://格式的S3路径而非s3a://（通常是项目生成S3路径的设计模式不一致导致），会触发类似org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme "s3"的Java相关异常。

解决办法：使用localstack、moto或其他S3模拟库完成本地测试。

内容的提问来源于stack exchange，提问作者dataviews