如何通过Logic Apps将S3文件转存至Azure Blob、推送至ADLS Gen2并解压

针对你的需求——将S3存储桶中按Year/Month/Day/Hour层级存储的.gz文件，每分钟拉取并解压后同步到Azure Blob，再推送至ADLS Gen2，以下是具体实现步骤：

一、创建Logic Apps并配置S3触发 #

• 选择递归文件夹触发器：适配S3的多层级目录结构，设置触发频率为每分钟，文件筛选条件指定后缀为.gz。
• 配置S3连接：输入AWS访问密钥ID与密钥，关联目标存储桶，确保Logic Apps拥有该桶的读取权限。

二、拉取S3文件并完成解压 #

1. 添加Get file content动作：选择触发器返回的S3文件路径，获取.gz文件的二进制内容。
2. 添加Compress/Decompress动作：操作类型选择Decompress，压缩格式指定为Gzip，输入内容选择上一步的文件二进制输出。
3. 生成解压后文件名：使用表达式去除.gz后缀，示例：replace(triggerBody()?['Name'], '.gz', '')；如需保留原层级路径，可拼接文件夹路径与文件名：concat(triggerBody()?['FolderPath'], replace(triggerBody()?['Name'], '.gz', ''))

三、上传解压文件至Azure Blob Storage #

• 添加Create blob动作：配置Blob存储账户连接，选择目标容器。
• 填写Blob名称：使用上一步生成的带层级路径的文件名；Blob内容选择解压后的二进制输出。
• 此步骤会在Blob中复刻S3的Year/Month/Day/Hour目录结构，便于后续管理。

四、同步文件至ADLS Gen2 #

提供两种高效实现方式：

方式1：Logic Apps直接上传 #

• 添加Create file动作：配置ADLS Gen2存储账户连接（需已启用分层命名空间），选择目标文件系统。
• 文件路径与内容：复用解压后的层级路径与二进制内容，直接完成推送。

方式2：基于Blob事件触发同步（适合高并发场景） #

• 在Blob存储中配置事件网格触发器：当新Blob创建时，触发另一个Logic Apps或Azure Function执行复制操作，将文件同步至ADLS Gen2。
• 或使用Azure Data Factory复制活动：定期批量同步Blob容器到ADLS Gen2文件系统，减少Logic Apps的高频执行压力。

关键注意事项 #

• 权限配置：确保Logic Apps的托管身份或连接凭证拥有S3读取、Blob写入、ADLS Gen2写入的对应权限。
• 错误处理：通过Scope容器与Run after设置，捕获文件拉取、解压、上传环节的异常，将失败记录写入专用日志容器。
• 性能优化：开启Logic Apps的并行处理能力，或调整触发器的批量处理阈值，应对每分钟大量文件的场景。

内容的提问来源于stack exchange，提问作者Vivek KB