Data Lake Storage Gen2 Path-Create API是否支持同一目录下多文件并发创建？

结论 #

• ADLS Gen2 的 Path-Create API 完全支持并发创建同一父目录下的不同文件，自动创建目录的逻辑不会引发冲突或错误。

细节说明 #

• 当你同时发起创建basePath/parent/path1/file1.json和basePath/parent/path1/file2.json的请求时：
  • 若目标父目录basePath/parent/path1不存在，最先到达的请求会自动创建该目录；后续请求检测到目录已存在后，会直接创建各自的文件
  • 即使多个请求同时触发目录创建操作，ADLS Gen2 底层存储系统会处理这种竞态场景，保证目录仅被创建一次，不会出现重复创建或请求失败的情况
• 不同文件的创建操作相互独立，API 会为每个文件请求分配独立的处理流程，同目录的文件创建之间不会产生阻塞或资源争抢

实践建议 #

• 不需要提前手动创建父目录，直接并发发起文件创建请求即可
• 可以为请求添加简单的重试机制（针对409 Conflict这类极端场景下的罕见错误），但生产环境中这类情况几乎不会出现

内容的提问来源于stack exchange，提问作者Indrajeet Mahanta