EMR Serverless下TensorFlow模型训练权限拒绝错误求助

问题场景 #

• 已创建包含TensorFlow 2.11的虚拟环境，配置为Spark驱动和执行器的Python环境，venv已作为归档添加到PySpark
• 从S3读取TFRecord文件生成train_dataset，调用model.fit时触发以下权限错误：

File "/home/hadoop/environment/lib/python3.8/site-packages/keras/utils/traceback_utils.py", line 70, in error_handler
    raise e.with_traceback(filtered_tb) from None
  File "/home/hadoop/environment/lib/python3.8/site-packages/tensorflow/python/eager/execute.py", line 52, in quick_execute
    tensors = pywrap_tfe.TFE_Py_Execute(ctx._handle, device_name, op_name,
**tensorflow.python.framework.errors_impl.PermissionDeniedError: 
Graph execution error:**
         [[{{node MultiDeviceIteratorGetNextFromShard}}]]
        [[RemoteCall]]
        [[IteratorGetNextAsOptional]] [Op:__inference_train_function_4621]

排查与解决建议 #

• 检查EMR Serverless执行角色权限
  确保执行角色拥有S3对应路径的s3:GetObject、s3:ListBucket权限，覆盖TFRecord文件所在的桶和路径；若使用SSE-KMS加密存储，还需配置KMS密钥的kms:Decrypt权限。同时确认桶策略未拒绝该角色的访问请求。
• 验证虚拟环境权限
  检查venv压缩包解压后的目录及文件权限，确保EMR Serverless执行用户（默认hadoop）对venv目录有读、执行权限，避免因无法加载TensorFlow库间接触发权限错误。
• 适配TensorFlow分布式训练配置
  错误涉及MultiDeviceIterator，说明启用了多设备训练：
  • 确认EMR Serverless安全组允许执行器节点间的内部通信（TensorFlow分布式训练常用端口如2222需开放）
  • 调整TensorFlow分布式配置，避免尝试访问本地未授权资源，确保适配EMR Serverless的无服务器环境
• 验证S3路径与读取逻辑
  检查S3路径格式是否正确（如s3://bucket/path/），尝试在驱动节点单独读取单个TFRecord文件测试权限，排除数据集读取环节的问题。
• 补充日志调试
  查看EMR Serverless的驱动、执行器日志，定位具体被拒绝访问的资源；调试阶段可临时给执行角色添加s3:*权限（生产环境禁用），快速确认是否为S3权限问题，再逐步缩小权限范围。

内容的提问来源于stack exchange，提问作者Sonu Patidar