如何通过Amazon EC2实例上的R检查S3中的文件是否存在？

我明白你遇到的困扰了——用Base R的exists()和file.exists()去检查S3上的文件，不管实际存不存在都返回FALSE，这其实是因为这两个函数本来就不是为云存储路径设计的。

为什么Base R的函数行不通？ #

exists()是用来检查R环境中有没有某个对象（比如变量、函数），而file.exists()只能识别本地文件系统的路径，它们都没办法解析s3://开头的云存储路径，所以自然会返回FALSE。

正确的解决方案：用aws.s3包的专用函数 #

你已经加载了aws.s3包，这个包里的object_exists()函数就是专门用来检查S3对象是否存在的，直接传入你的S3路径就行。

修改后的代码示例：

library("aws.s3")

# 配置AWS凭证（温馨提示：在EC2上建议用IAM角色授权，不要硬编码密钥更安全）
Sys.setenv(
  "AWS_ACCESS_KEY_ID" = "key1",
  "AWS_SECRET_ACCESS_KEY" = "key2",
  "AWS_DEFAULT_REGION" = "key3"
)

existing_file_path = "s3://bucket_name/folder_name/exists.type"
not_existing_file_path = "s3://bucket_name/folder_name/not_exists.type"

# 检查存在的文件
object_exists(existing_file_path)  # 会返回TRUE

# 检查不存在的文件
object_exists(not_existing_file_path)  # 会返回FALSE

额外注意事项 #

• 安全建议：不要把AWS密钥硬编码到代码里！如果你的EC2实例是在AWS环境中运行，建议给实例绑定具有S3访问权限的IAM角色，这样就不需要手动设置环境变量里的密钥了，既安全又方便。
• 权限验证：确保你的EC2实例所在的安全组允许出站访问S3，同时S3桶的策略也允许该实例（或IAM角色）读取桶内的对象。

内容的提问来源于stack exchange，提问作者penguin