AWS Glue --extra-files参数前端报错、消失但作业可正常运行问题咨询

问题1：为什么--extra-files参数会触发前端报错 #

该报错由AWS Glue控制台前端校验规则和后端实际支持能力不匹配导致：

• Glue控制台前端维护了官方公开的作业参数白名单，仅对名单内的参数做校验通过处理。--extra-files属于Apache Spark原生支持的参数，未被纳入Glue前端的参数白名单，因此输入时会触发前端的非法参数报错。
• 该校验仅为前端页面层面的限制，Glue后端服务不会拦截合法的Spark原生参数，因此你仍然可以正常保存作业配置。
• 后续查看作业参数时参数消失同样是前端逻辑导致：前端仅渲染展示白名单内的参数，非白名单参数实际已被后端持久化存储，并未被删除。

问题2：为什么未在前端看到--extra-files参数的情况下，作业仍然可以正常运行 #

作业可正常读取配置文件的核心原因是--extra-files参数实际已生效，并非真的未配置：

• Glue后端向Spark集群提交作业时，会携带所有用户提交的合法参数（包括不在前端白名单内的Spark原生参数）。--extra-files指定的S3配置文件会被Spark自动同步下载到Driver和Executor的工作目录，因此你直接通过文件名读取配置的代码逻辑可以正常执行。
• 补充场景：如果你代码中CONFIG_FILE_NAME配置的是完整S3路径而非仅文件名，只要作业关联的IAM角色具备对应S3路径的读取权限，即便没有--extra-files参数，Glue运行环境也支持直接读取S3路径下的文件，也会出现作业正常运行的情况。

内容的提问来源于stack exchange，提问作者E. Faslo