AWS CLI创建EMR集群时加载参数文件失败求助

核心问题说明 #

你遇到的报错是因为--steps参数用file://前缀时，AWS CLI只会读取本地机器文件系统里的文件，而不是S3存储桶中的文件。直接替换成S3 URL不符合CLI的参数规则，所以同样失败。

具体解决办法 #

办法1：修正本地文件路径 #

• 用绝对路径替代相对路径：比如Linux/macOS用file:///home/xxx/your-steps.json（注意三个斜杠），Windows用file://C:/Users/xxx/your-steps.json
• 先验证路径有效性：在CLI里执行cat /home/xxx/your-steps.json（Linux/macOS）或type C:\Users\xxx\your-steps.json（Windows），确认能正常读取文件内容
• 如果用相对路径，要保证执行CLI的当前工作目录和文件所在目录一致

办法2：正确使用S3上的步骤文件 #

如果步骤文件存在S3里，不能直接传S3 URL给--steps，可以用以下两种方式：

1. 先把S3文件下载到本地，再用本地路径指定

   aws s3 cp s3://your-bucket-name/path/to/steps.json ./local-steps.json
   aws emr create-cluster --name "YourClusterName" --ec2-attributes SubnetId=subnet-xxxx --release-label emr-5.4.0 --auto-terminate --log-uri s3://your-log-bucket/ --use-default-roles --enable-debugging --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=c4.large InstanceGroupType=CORE,InstanceCount=3,InstanceType=c4.large --steps file://./local-steps.json
   

2. 直接在CLI命令中嵌入步骤JSON内容（适合内容较短的情况）

   aws emr create-cluster --name "YourClusterName" --ec2-attributes SubnetId=subnet-xxxx --release-label emr-5.4.0 --auto-terminate --log-uri s3://your-log-bucket/ --use-default-roles --enable-debugging --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=c4.large InstanceGroupType=CORE,InstanceCount=3,InstanceType=c4.large --steps '[{"Name": "YourProcessingStep", "ActionOnFailure": "CONTINUE", "HadoopJarStep": {"Jar": "command-runner.jar", "Args": ["spark-submit", "s3://your-bucket/path/your-processing-script.py"]}}]'
   

额外检查项 #

• 确认执行CLI的账号有读取本地文件的权限，以及访问目标S3桶的权限
• 检查步骤JSON文件的语法是否正确，比如括号、引号是否配对，避免因格式错误导致的间接报错

内容的提问来源于stack exchange，提问作者mike_mussini