如何配置AWS Glue Job的/tmp目录大小？Lambda扩容是否共享存储？

一、Glue Job能否扩大/tmp目录大小？ #

可以，Glue Job本身支持配置临时存储，无需依赖其他服务：

• 控制台操作：创建或编辑Glue Job时，找到临时存储（Ephemeral Storage）配置项，直接设置所需容量（上限为100GB），该配置会应用到Job运行时每个Executor节点的/tmp目录。
• 代码/API操作：用AWS CLI或CloudFormation定义Job时，可通过--default-arguments参数添加"--temp-storage": "X"（X为具体GB数值，例如"50"代表50GB）来指定临时存储大小。

二、Lambda触发Glue Job时，Lambda的临时存储扩容是否会影响Glue Job？ #

不会，Lambda和Glue Job是完全独立的计算资源：

• Lambda的临时存储仅作用于自身的运行环境，扩容后只会改变Lambda实例的/tmp大小，和Glue Job的运行资源没有任何关联。
• Glue Job运行在专属的计算节点（Executor）上，它的临时存储完全由自身的配置决定，和触发它的Lambda没有共享实例或存储的关系。

内容的提问来源于stack exchange，提问作者Andrew