这种卡在接近完成阶段抛出S3 Bad Request的问题我之前帮不少同行排查过，结合你的场景——40GB gzip压缩CSV转分区Parquet、基于EMR+Hive运行，大概率是以下几个方向的问题，你可以逐一排查：

1. S3请求速率超限触发限流 #

AWS S3有默认的请求速率限制（前缀下每秒3500次PUT/COPY/POST/DELETE，或5500次GET/HEAD请求）。当Hive批量写入分区Parquet时，接近完成阶段往往会集中写入元数据或大量小文件，瞬间触发S3的限流机制，表现为Bad Request错误（底层实际是SlowDown，但返回码可能统一显示为400）。

• 排查方式：打开CloudWatch，找到目标S3存储桶的指标，查看4xxErrors是否在报错时间点飙升，重点关注SlowDown类型的错误。
• 解决方法：
  • 确认S3存储桶已开启请求速率自动提升（目前大部分新桶默认支持，老桶可以手动申请）；
  • 调整Hive参数减少小文件生成：

    SET hive.merge.mapfiles=true;
    SET hive.merge.mapredfiles=true;
    SET hive.merge.size.per.task=256000000; -- 合并为256MB的文件
    SET hive.merge.smallfiles.avgsize=128000000; -- 当平均文件大小小于128MB时触发合并
    

  • 优化分区粒度，避免一次性生成过多分区目录（比如按天分区而不是按小时，除非业务必须）。

2. EMR集群的S3权限/端点配置问题 #

虽然前期能读取CSV和创建部分元数据，但批量写入后期的特殊操作（比如重命名临时文件、批量同步分区元数据）可能触发权限或端点配置的隐性问题：

• 排查方式：
  • 检查EMR集群的服务IAM角色，确保拥有目标S3桶的s3:PutObject、s3:DeleteObject、s3:ListBucket、s3:GetObject权限（覆盖所有分区前缀）；
  • 确认Hive使用的S3端点与桶所在区域匹配，比如us-west-2桶要使用s3.us-west-2.amazonaws.com而不是全局端点。
• 解决方法：
  • 先给EMR角色临时添加目标桶的s3:*权限测试，确认是否是权限卡点；
  • 在Hive脚本开头指定正确的S3端点：

    SET fs.s3a.endpoint=s3.<your-region>.amazonaws.com;
    

3. Hive元数据服务（HMS）超时或异常 #

写入大量分区Parquet时，Hive Metastore需要同步大量分区元数据到S3，若超时配置过短或资源不足，会导致最后阶段报错：

• 排查方式：登录EMR主节点，查看HMS日志（路径：/var/log/hive/hivemetastore.log），查找与S3元数据同步相关的超时或错误信息；同时检查hive.metastore.client.socket.timeout参数的当前值。
• 解决方法：
  • 在脚本开头调整HMS超时参数：

    SET hive.metastore.client.socket.timeout=300; -- 延长到300秒
    SET hive.metastore.connect.retries=5; -- 增加重试次数
    

  • 拆分任务：先创建空的分区Parquet表，再用INSERT INTO分批导入数据（比如按CSV的部分文件分批），减少单次元数据同步的压力。

4. S3桶的特殊配置冲突 #

比如版本控制、对象锁定或加密配置可能在写入后期触发异常：

• 排查方式：检查目标桶是否开启了版本控制（会额外生成版本记录，增加请求负载）；若使用SSE-KMS加密，确认EMR角色是否拥有KMS密钥的kms:GenerateDataKey和kms:Decrypt权限。
• 解决方法：
  • 临时关闭版本控制测试，看是否能完成写入；
  • 给EMR角色添加KMS相关权限（如果用了SSE-KMS）。

• 调高Hive日志级别获取完整错误栈：在脚本开头添加SET hive.root.logger=DEBUG,console;，这样就能看到caused by:后面的具体错误信息，而不是被截断；
• 用小数据集测试：拿1GB左右的CSV子集跑脚本，如果能成功，基本可以确定是大数据量下的S3限流或资源问题；
• 检查EMR集群资源：查看YARN的内存、CPU使用情况（通过EMR控制台的集群监控），确认是否在报错时间点出现资源耗尽导致任务中断，进而触发S3请求异常。

内容的提问来源于stack exchange，提问作者Marty