SageMaker部署SKLearn估算器遇TypeError：NoneType不可下标

核心问题 #

在AWS SageMaker中使用SKLearn估算器训练时，自定义脚本读取Parquet数据集后操作列dataset['column1']时报错TypeError: 'NoneType' object is not subscriptable，但打印数据集长度显示正常，本地运行无问题，多次重试后错误消失。

可能原因及解决方法 #

1. S3数据同步竞态条件 #

SageMaker训练实例启动时会异步同步S3通道数据到本地。若数据集较大，代码执行时部分Parquet文件可能未同步完成，导致pd.read_parquet读取到不完整数据，某列临时为None。重试时数据已完成同步或缓存，因此恢复正常。

解决方式：
在读取数据前添加校验逻辑，确认本地目录下的Parquet文件完整：

import os
import time
import boto3
from botocore.exceptions import ClientError

def check_s3_files(s3_path, local_dir):
    # 解析S3路径
    s3 = boto3.client('s3')
    bucket, prefix = s3_path.replace("s3://", "").split("/", 1)
    # 获取S3上的Parquet文件数量
    s3_files = [obj['Key'] for obj in s3.list_objects_v2(Bucket=bucket, Prefix=prefix)['Contents'] if obj['Key'].endswith('.parquet')]
    # 循环等待本地文件数量匹配S3
    while True:
        local_files = [f for f in os.listdir(local_dir) if f.endswith('.parquet')]
        if len(local_files) == len(s3_files):
            break
        time.sleep(5)

# 在读取数据前调用（需传入对应的S3数据集路径）
check_s3_files('s3://your-bucket/my_dataset_dir', args.dataset)
dataset = pd.read_parquet(args.dataset)

2. S3上Parquet文件损坏/不一致 #

本地运行正常，但S3上的Parquet文件可能存在上传中断导致的损坏，第一次读取时命中损坏分片，重试时读取了S3的冗余副本或其他完整分片。

解决方式：

• 用pyarrow逐个校验S3上的Parquet文件：

  import pyarrow.parquet as pq
  import s3fs
  
  s3 = s3fs.S3FileSystem()
  for file_path in s3.glob('s3://your-bucket/my_dataset_dir/*.parquet'):
      try:
          pq.ParquetFile(file_path, filesystem=s3)
      except Exception as e:
          print(f"损坏文件: {file_path}, 错误信息: {e}")
  

• 重新上传完整的数据集到S3，避免断点续传导致的文件损坏。

3. 本地与SageMaker环境依赖版本不匹配 #

本地和SageMaker训练实例的pandas/pyarrow版本差异，可能导致读取Parquet时的行为不一致（比如某些版本对缺失列的处理返回None而非报错）。

解决方式：
在source_dir目录下创建requirements.txt，指定与本地一致的依赖版本：

pandas==1.5.3
pyarrow==10.0.1
scikit-learn==1.2.2

SageMaker会自动安装这些依赖，确保训练环境与本地一致。

4. 多实例训练的分片数据缺失列 #

若设置了instance_count > 1，每个训练实例只会获取部分数据集分片。如果某个分片恰好缺失column1列，就会触发报错；重试时分片分配逻辑可能变化，避开了有问题的分片。

解决方式：

• 检查所有Parquet分片是否都包含column1列；
• 若不需要多实例训练，将instance_count设为1；
• 提前合并所有Parquet文件为单个文件后再上传到S3。

5. 临时环境变量注入异常 #

极少数情况下，SageMaker可能未正确注入SM_CHANNEL_DATASET环境变量，导致args.dataset为None，但这种情况通常会在读取数据时就报错。可以添加日志排查：

import os
print("SM_CHANNEL_DATASET:", os.environ.get('SM_CHANNEL_DATASET'))
print("args.dataset:", args.dataset)

内容的提问来源于stack exchange，提问作者SuperFluo