如何将Spark处理的Web归档数据从HDFS迁移至Amazon S3？

一、修复S3A连接器凭证问题（推荐直接存S3） #

直接写入S3是最高效的方式，先解决凭证错误问题：

• 配置Spark的S3访问凭证：
  可以在初始化SparkContext时添加配置，支持硬编码（不推荐生产）、环境变量或IAM角色三种方式：

  from pyspark import SparkConf, SparkContext
  
  conf = SparkConf()
  # 方式1：硬编码密钥（测试用）
  conf.set("spark.hadoop.fs.s3a.access.key", "你的AWS访问密钥ID")
  conf.set("spark.hadoop.fs.s3a.secret.key", "你的AWS秘密访问密钥")
  # 方式2：使用IAM角色（生产推荐，适用于EMR/EC2集群）
  # conf.set("spark.hadoop.fs.s3a.aws.credentials.provider", "com.amazonaws.auth.InstanceProfileCredentialsProvider")
  # 大文件写入优化配置
  conf.set("spark.hadoop.fs.s3a.fast.upload", "true")
  conf.set("spark.hadoop.fs.s3a.multipart.size", "104857600") # 100MB分块
  
  sc = SparkContext(conf=conf)
  

  然后修改保存路径为S3A格式：

  rdd_jsonld.saveAsTextFile(f"s3a://你的存储桶名称/webarchive-jsonld-{bucket}")
  

• 安全提示：生产环境不要硬编码密钥，优先用IAM角色（给Spark集群绑定S3读写权限的角色），或在机器上设置AWS_ACCESS_KEY_ID、AWS_SECRET_ACCESS_KEY环境变量，Spark会自动读取。

二、HDFS中转方案（备选） #

如果暂时无法解决S3A问题，中转方案可行，但会多一次数据拷贝：

• 操作步骤：
  1. 保持原代码逻辑，先将数据写入HDFS。
  2. 用Hadoop的distcp命令并行迁移数据到S3（专门针对大数据量优化）：

     hadoop distcp hdfs://namenode地址/webarchive-jsonld-{bucket} s3a://你的存储桶名称/webarchive-jsonld-{bucket}
     

     可以加-m 64参数指定并行任务数，提升迁移速度。
  3. 迁移完成后删除HDFS上的临时数据：

     hdfs dfs -rm -r /webarchive-jsonld-{bucket}
     

• 注意事项：要确保HDFS有足够临时存储空间存放TB级数据。

三、现有代码优化点 #

• 不要在循环内停止SparkContext：原代码在for循环里调用sc.stop()，如果后续还有bucket要处理会报错，应该把sc.stop()移到循环外。
• 累加器正确更新：确保get_jsonld_records函数里正确更新jsonld_count、records_count这些累加器，保证计数准确。
• 调整并行度：TB级数据处理时，可限制parallelize的分区数（比如min(len(filenames), 200)），避免分区过多导致资源浪费。

内容的提问来源于stack exchange，提问作者Kshitij Pandit