Amazon SageMaker Monitor：能否将MonitoringDatasetFormat设为gz格式？

• 核心结论：无法直接将MonitoringDatasetFormat设置为gz格式，因为该类仅支持csv、json、parquet三种基础格式，但gz作为压缩格式，可以通过对应基础格式的compression参数来处理。

• 解决方案：如果你的gz压缩包内是CSV格式文件，只需在MonitoringDatasetFormat.csv()中添加compression="gzip"参数，监控任务就会自动解压并处理文件。

• 修改后的代码示例：

from sagemaker.model_monitor import DefaultModelMonitor
from sagemaker.model_monitor import CronExpressionGenerator
from sagemaker.model_monitor import BatchTransformInput
from sagemaker.model_monitor import MonitoringDatasetFormat
from time import gmtime, strftime

my_monitor= DefaultModelMonitor(
    role=role,
    instance_count=1,
    instance_type="ml.m5.xlarge",
    volume_size_in_gb=20,
    max_runtime_in_seconds=3600,
)

my_monitor.create_monitoring_schedule(
    monitor_schedule_name=mon_schedule_name,
    # Inputs to run the monitoring schedule on the batch transform
    batch_transform_input=BatchTransformInput(
        data_captured_destination_s3_uri=s3_capture_upload_path,      
        destination="/opt/ml/processing/input",
        # 添加compression参数指定gzip压缩格式
        dataset_format=MonitoringDatasetFormat.csv(header=False, compression="gzip"),
    ),
    output_s3_uri=s3_report_path,
    statistics=statistics_path,
    constraints=constraints_path,
    schedule_cron_expression=CronExpressionGenerator.hourly(),
    enable_cloudwatch_metrics=True,
)

• 补充说明：如果压缩包内是JSON或Parquet格式，同理使用MonitoringDatasetFormat.json(compression="gzip")或MonitoringDatasetFormat.parquet(compression="gzip")即可适配。

内容的提问来源于stack exchange，提问作者dee