如何直接将Numpy数组以.npy格式写入AWS S3存储桶？

当然可以直接把NumPy数组写入AWS S3，完全不用先存本地！这里给你两种实用的解决方案，都是Python生态里常用的方法：

这是基于AWS官方Python SDK boto3的方案，借助内存缓冲区BytesIO来避免本地文件写入：

import numpy as np
import boto3
from io import BytesIO

# 初始化S3客户端（确保AWS凭证已配置：比如环境变量、~/.aws/credentials文件或IAM角色）
s3_client = boto3.client('s3')

# 定义你的NumPy数组
array_to_save = np.array([1, 2, 3, 4])

# 创建内存缓冲区，模拟文件对象
in_memory_buffer = BytesIO()

# 将数组写入缓冲区
np.save(in_memory_buffer, array_to_save)
# 关键：将缓冲区指针移到起始位置，否则S3读取时会从末尾开始，得到空文件
in_memory_buffer.seek(0)

# 上传到S3，替换为你的桶名和目标文件路径
s3_client.upload_fileobj(
    Fileobj=in_memory_buffer,
    Bucket='your-bucket-name',
    Key='path/to/your-file.npy'
)

说明：BytesIO相当于一个内存中的临时文件，所有操作都在内存中完成，不会占用本地磁盘空间，非常适合这种无本地存储的场景。

如果你习惯像操作本地文件一样处理S3资源，s3fs库会让这个过程更直观：

首先需要安装s3fs：

pip install s3fs

然后使用如下代码：

import numpy as np
import s3fs

# 初始化S3文件系统（同样需要配置AWS凭证）
s3_fs = s3fs.S3FileSystem()

# 定义你的NumPy数组
array_to_save = np.array([1, 2, 3, 4])

# 直接用np.save写入S3路径，语法和本地文件操作完全一致
with s3_fs.open('s3://your-bucket-name/path/to/your-file.npy', 'wb') as s3_file:
    np.save(s3_file, array_to_save)

说明：s3fs把S3桶映射成了一个可直接访问的文件系统，你不用手动处理缓冲区和指针，代码可读性更高。

• AWS凭证配置：确保你的运行环境能访问S3权限，可以通过环境变量AWS_ACCESS_KEY_ID/AWS_SECRET_ACCESS_KEY、~/.aws/credentials文件，或者在EC2/EKS等AWS服务上使用IAM角色来配置。
• 权限检查：确认你的AWS账号拥有目标S3桶的PutObject权限，否则会出现权限错误。
• 大数组处理：如果数组非常大，内存缓冲区可能会占用较多内存，这时候可以考虑分块上传（boto3支持分块上传，s3fs也会自动处理大文件）。

内容的提问来源于stack exchange，提问作者user121