Azure Data Lake Storage如何实现创建时同步上传文件内容

常规分块上传流程 #

通过ADLS Gen2原生文件系统SDK上传文件的标准分块流程为：

• 调用Create File接口创建空文件节点
• 循环调用Append Data接口按分块写入文件内容
• 调用Flush Data接口提交所有写入分块，标记文件最终写入位置

问题根因 #

配置Databricks文件事件消费机制（含Auto Loader文件发现、工作流文件触发器）后，走完上述三步流程的文件无法被消费，核心原因是：
分块流程触发的Flush事件与Azure Portal单步上传触发的终态文件创建事件属性存在差异。Databricks默认会过滤写入未完成的中间态文件：如果Flush请求未携带终态标记，文件会被判定为仍在写入过程中，不会纳入消费队列。

可行解决方案 #

ADLS完全支持类似Azure Portal的「创建即写入全量内容」的上传模式，可从两种实现方式中选择适配场景的方案：

1. 小文件单步上传（单文件≤256MB）
   直接调用ADLS兼容的Blob层Put Blob接口，单次请求完成文件创建+全量内容写入，不需要走create-append-flush分块流程。该方式触发的事件和Azure Portal手动上传的事件属性完全一致，可被Databricks正常识别。
2. 大文件分块上传（单文件>256MB）
   保留原有分块流程，在最终调用Flush Data接口时补充两个配置即可修复事件触发问题：
   • 传入参数close=true，显式标记文件写入完成，多数SDK该参数默认值为false，是导致事件不触发的核心原因
   • 附加请求头x-ms-blob-type: BlockBlob，将文件标记为块Blob类型，和Portal上传的文件类型保持一致

上传完成后可在存储浏览器核对文件属性，只要文件Blob类型为块Blob、写入状态为已关闭，即可被Databricks正常消费。

内容的提问来源于stack exchange，提问作者user3777148