使用boto3读取Stocator写入S3的数据是否安全？

• 结论先行：用默认S3 REST API（boto3底层依赖的就是这个）读取Stocator写入的S3 COS数据是安全的，不会出现你听说的S3A那种重复读取的问题。

• 具体原因：

  1. Stocator作为Spark连接器，写入S3 COS时完全遵循S3 API规范，生成的数据对象、目录结构、元数据都是标准S3兼容格式，没有私有自定义内容。
  2. S3A出现重复读取的问题，是它自身目录遍历和文件识别逻辑的缺陷导致的——比如误将Stocator生成的_$folder$这类目录标记文件当成有效数据文件，或是处理分区目录时重复计数。而boto3直接调用原生S3 REST API，基于对象键做精准操作：要么指定具体对象路径读取，要么通过列表接口遍历后筛选有效文件，完全能避开这类逻辑陷阱。

• 小提醒：如果你的数据是Spark分区写入的，读取时可以主动过滤非数据文件（比如后缀不是业务用的.parquet/.csv的文件），或是忽略_$folder$这类标记文件，进一步避免不必要的干扰。

内容的提问来源于stack exchange，提问作者BovineScatologist