能否在SageMaker处理作业中挂载EFS？大模型存储替代方案咨询

一、是否可在SageMaker处理作业中挂载EFS？ #

可以挂载，但AWS控制台无可视化配置选项，需通过AWS SDK（如boto3）或CloudFormation实现，核心步骤如下：

1. 网络前提配置：确保EFS文件系统与SageMaker处理作业处于同一VPC（或已配置VPC对等连接），且双方安全组允许NFS协议（2049端口）的双向流量。
2. 通过boto3配置挂载：调用create_processing_job API时，在ProcessingResources.ClusterConfig中添加VolumeConfig参数，指定EFS的文件系统ID、容器内挂载路径，同时配置VPC子网和安全组。

示例代码片段：

import boto3

sagemaker_client = boto3.client('sagemaker')

sagemaker_client.create_processing_job(
    ProcessingJobName='large-model-processing-job',
    ProcessingResources={
        'ClusterConfig': {
            'InstanceCount': 1,
            'InstanceType': 'ml.m5.2xlarge',
            'VolumeSizeInGB': 30,
            'VolumeConfigs': [
                {
                    'VolumeType': 'EFS',
                    'EFSVolumeConfig': {
                        'FileSystemId': 'fs-xxxxxxxxx',
                        'RootDirectory': '/mnt/efs/model',
                        'FileSystemAccessMode': 'ro'
                    },
                    'MountPath': '/opt/ml/model'
                }
            ]
        }
    },
    # 补充其他必要参数：ProcessingInput/Output、AppSpecification等
    VpcConfig={
        'SecurityGroupIds': ['sg-xxxxxxxxx'],
        'Subnets': ['subnet-xxxxxxxxx']
    }
)

二、替代方案 #

如果暂不使用EFS，可选择以下方案托管和使用大模型：

• 同区域S3按需下载：将模型存储在与SageMaker处理作业同区域的S3桶中，作业启动时通过多线程分块下载（或使用sagemaker.s3.S3Downloader工具），同区域内S3到SageMaker的数据传输免费，成本可控。
• SageMaker弹性推理（EI）：将大模型部署为EI端点，处理作业通过API调用EI执行预测，无需在本地加载模型，适合计算与模型资源分离的场景，节省处理作业的实例资源。
• FSx for Lustre挂载：若模型加载对IO性能要求高，可使用FSx for Lustre存储模型，通过SDK配置挂载到处理作业，其高吞吐量特性更适合大模型的快速加载。
• Docker镜像分层优化：将大模型单独构建为基础镜像层，业务代码作为上层镜像层，后续仅更新代码层，减少镜像构建和推送的时间与带宽消耗，降低镜像管理成本。

内容的提问来源于stack exchange，提问作者Stanislav Hordiyenko