如何在不使用Hadoop的情况下用PySpark将DataFrame写入S3存储桶

要实现PySpark直接将DataFrame写入S3且不依赖任何Hadoop相关配置，核心是利用AWS原生认证机制替代Hadoop参数配置，以下是具体实现方案：

1. 认证方式选择 #

Spark会自动识别AWS的认证信息，无需在代码中配置spark.hadoop前缀的参数，可选认证方式：

• AWS托管环境（EMR、Glue、EC2等）：直接为运行Spark的资源关联具备S3读写权限的IAM角色，Spark会自动获取权限，无需额外配置。
• 本地/非AWS环境：通过环境变量或AWS凭证文件传递认证信息：
  • 设置环境变量：

    export AWS_ACCESS_KEY_ID="your-access-key"
    export AWS_SECRET_ACCESS_KEY="your-secret-key"
    

  • 或在~/.aws/credentials文件中配置（Spark会自动读取）：

    [default]
    aws_access_key_id = your-access-key
    aws_secret_access_key = your-secret-key
    

2. 代码实现 #

创建SparkSession时无需添加任何Hadoop相关配置，直接写入DataFrame到S3路径即可：

创建SparkSession #

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("WriteToS3WithoutHadoop") \
    .getOrCreate()

写入DataFrame到S3 #

支持Parquet、CSV、JSON等多种格式，以常用的Parquet和CSV为例：

# 写入Parquet格式（默认格式，高效压缩）
joinedDf.write \
    .mode("overwrite")  # 可选模式：append/overwrite/ignore/errorifexists
    .parquet("s3://your-bucket-name/path/to/joined_data.parquet")

# 写入CSV格式（带表头）
joinedDf.write \
    .mode("overwrite") \
    .option("header", "true") \
    .option("sep", ",") \
    .csv("s3://your-bucket-name/path/to/joined_data.csv")

3. 关键注意事项 #

• 环境依赖：确保Spark运行环境已包含AWS S3相关依赖包（如hadoop-aws和aws-java-sdk-bundle），这是环境层面的配置，无需在代码中体现。
• 路径格式：使用标准的s3://bucket-name/path格式，Spark会自动处理底层交互，无需手动指定Hadoop文件系统前缀。
• 安全性：避免在代码中硬编码AWS密钥，优先使用IAM角色或环境变量的方式传递认证信息。

内容的提问来源于stack exchange，提问作者priyanka juyal