如何优化Neptune批量加载作业以提升数据导入效率

核心问题回复 #

你应该优先增大输出CSV文件的大小，这是当前场景下投入最低、收益最明显的提速手段

原因说明 #

• Neptune 批量加载作业的吞吐量和输入文件大小直接正相关：你当前单批次仅处理数百万条记录，生成的CSV文件远小于Neptune官方推荐的单文件最优区间（未压缩CSV单文件1GB左右为佳，最大不要超过10GB），过小的分片文件会导致大量任务初始化、元数据校验、调度的开销占比被放大，挤占了实际数据加载的资源占比，拉低整体吞吐量。
• 你当前单次仅运行一个作业、队列始终满负荷到65上限的状态，刚好匹配增大单文件大小的优化逻辑：提升单文件大小后不需要调整现有作业提交逻辑和队列并发配置，不会触发队列限流，仅通过降低单作业的无效开销就能直接提升单位时间加载量。

可同步落地的补充优化点 #

• 写入S3的CSV文件不要做压缩：Neptune加载未压缩CSV的速度比gzip等压缩格式高30%以上，不要为了节省S3存储空间压缩文件，反而拖累加载效率。
• 调整加载顺序：如果节点和边数据分开存储，优先提交所有节点数据的加载作业，全部完成后再提交边数据的加载作业，避免边加载过程中因未找到对应节点产生额外的重试开销。
• 保持当前overscribe参数的配置即可，该参数已经帮你跳过了全量加载场景下不必要的存在性校验开销，是正确的配置。

内容的提问来源于stack exchange，提问作者Ryan