如何实现每日或Qlik任务完成后将AWS EC2数据复制到Azure Blob存储？

以下是几种实用的实现方案，覆盖不同集成场景和运维偏好：

1. 在Qlik Job中添加Post-Job上传脚本 #

直接在Qlik的Job流程末尾追加文件上传逻辑，实现任务完成后的即时触发：

• 操作方式：在Qlik Sense/QlikView的Job配置里，添加Post-Job任务，执行预先编写的脚本。比如用Python调用azure-storage-blob SDK，或者在EC2上安装Azure CLI后执行az storage blob upload-batch命令，指定本地文件路径和Azure Blob的目标地址。
• 核心步骤：脚本中先校验文件是否生成完整（比如检查文件大小、修改时间），再通过Azure存储账户的连接字符串或SAS令牌完成上传。
• 优势：与Qlik Job深度绑定，触发时机精准，无需额外中间服务。
• 注意事项：需在EC2实例上安装对应依赖（Python库/Azure CLI），并通过AWS Secrets Manager或EC2环境变量安全存储Azure访问凭证，避免硬编码。

2. 借助AWS Serverless服务触发同步 #

利用AWS Lambda实现无服务器的文件同步逻辑，减少EC2实例的运维负担：

• 操作方式：
  • 方案A：让Qlik Job执行完成后，先将文件上传到AWS S3，通过S3的Put事件自动触发Lambda函数，由Lambda调用Azure SDK将文件转存到Blob存储。
  • 方案B：通过CloudWatch Agent监控EC2上的目标文件目录，当检测到新文件生成时，触发EventBridge规则调用Lambda完成上传。
• 优势：Serverless架构无需维护额外服务器，扩展性强，适合批量或周期性同步场景。
• 注意事项：Lambda需配置访问S3/EC2的IAM权限，Azure的访问凭证存储在AWS Secrets Manager中，确保权限最小化。

3. 使用Azure原生服务主动拉取 #

利用Azure的低代码/无代码服务，主动对接EC2上的文件：

• 操作方式：
  • 方案A：用Azure Logic Apps创建HTTP触发器，让Qlik Job执行完成后调用该触发器，触发Logic Apps的文件复制动作（直接从EC2拉取文件或通过S3中转）上传到Blob。
  • 方案B：在Azure Automation中创建PowerShell Runbook，定期连接EC2实例（通过SSH或SMB共享），检测到新文件后拉取并上传到Blob存储。
• 优势：依托Azure原生服务，可视化配置，无需编写大量代码，运维成本低。
• 注意事项：需确保Azure服务能访问到EC2实例（比如EC2配置公网IP、AWS与Azure建立VPC对等连接，或EC2开启SMB共享）。

4. 用数据同步工具实现批量传输 #

借助成熟的命令行工具完成文件同步，适合大文件或批量文件场景：

• 操作方式：
  • 方案A：在EC2上安装AzCopy，Qlik Job完成后执行azcopy copy "/path/to/local/files" "https://<storage-account>.blob.core.windows.net/<container>?<sas-token>" --recursive命令，一次性同步整个目录。
  • 方案B：用BlobFuse将Azure Blob存储挂载为EC2的本地目录，Qlik Job生成文件后直接将文件移动到挂载目录，自动同步到Blob存储。
• 优势：工具成熟稳定，命令简洁，支持断点续传和批量操作。
• 注意事项：AzCopy需正确生成具有上传权限的SAS令牌；BlobFuse挂载需配置好权限和凭证，确保挂载目录的稳定性。

内容的提问来源于stack exchange，提问作者Rohi_Dev_1.0