使用SageMaker Feature Processor写入双存储的性能与文件问题咨询

问题解答 #

1. 使用Feature Processor写入OnlineStore时，每天生成大量文件是否属于预期行为？

不属于预期行为。仅写入OfflineStore时，ICEBERG格式会自动执行小文件合并优化；但同时写入OnlineStore时，Feature Processor为适配OnlineStore的KV写入特性，会将数据拆分为极小批次处理，打断ICEBERG的合并逻辑，进而在离线存储中生成大量小文件。

2. 直接同时摄入到OfflineStore和OnlineStore是否为最优方式，还是应先摄入到OfflineStore再推广至OnlineStore？

两种方式都存在性能瓶颈，但先写入OfflineStore再批量同步到OnlineStore的可控性更高。核心问题在于OnlineStore本身是低吞吐量的KV存储，实时写入会强制拉低Spark作业的并行度，进而拖慢离线存储的写入速度。

优化建议：

• 调整Spark配置，增大spark.sql.shuffle.partitions和spark.default.parallelism，保证离线存储写入的高并行度。
• 使用Feature Store的批量导入工具同步OfflineStore数据到OnlineStore，避免实时写入对离线流程的干扰。

3. 是否有优质的Slack/Discord社群可供讨论SageMaker相关问题？

亚马逊官方有SageMaker开发者Slack社群，可通过AWS开发者社区渠道加入；国内也有由云服务爱好者组织的Discord社群，聚焦SageMaker实践与问题交流，社群内有资深开发者和AWS技术专家参与讨论。

内容的提问来源于stack exchange，提问作者MarkNS