调用AWS SelectObjectContent遇XNotImplemented错误，求解决方法

我运行以下Python代码统计S3存储桶中Parquet文件的记录数：

import boto3
import os

s3 = boto3.client('s3')
sql_stmt    = """SELECT count(*) FROM s3object s"""

req_fact =s3.select_object_content( 
    Bucket  = 'test_hadoop', 
    Key     = 'counter_db.cm_workload_volume_sec.dt=2023-01-23.cm_workload_volume_sec+2+000000347262.parquet', 
    ExpressionType  = 'SQL', 
    Expression      = sql_stmt, 
    InputSerialization={'Parquet':{}}, 
    OutputSerialization = {'JSON': {}})

for event in req_fact['Payload']:
    if 'Records' in event:
        print(event['Records']['Payload'].decode('utf-8'))
    elif 'Stats' in event:
        print(event['Stats'])

但触发错误：

botocore.exceptions.ClientError: An error occurred (XNotImplemented) when calling the SelectObjectContent operation: This node does not support SelectObjectContent

请问该问题的原因是什么？

原因分析 #

• 存储桶区域不支持S3 Select：S3 Select未在所有AWS区域部署，若使用的是较新或冷门区域，该操作可能无法使用。
• 存储类不兼容：部分S3存储类（如S3 Glacier系列归档存储、S3 Intelligent-Tiering的归档层）不支持S3 Select，仅标准存储类、智能分层的频繁/不频繁访问层等兼容存储类可使用该功能。
• 非AWS原生S3存储：如果对接的是第三方S3兼容服务（如MinIO、国产云厂商的兼容存储），这类服务可能未实现SelectObjectContent接口，导致报错。

内容的提问来源于stack exchange，提问作者fahadhub