使用Azure Data Factory复制活动如何生成同名空.FIN文件？

核心结论 #

不能复用当前的Copy Activity——Copy Activity的核心逻辑是数据复制传输，必须有合法的数据源和目标存储映射，空.FIN文件没有数据来源，无法通过Copy Activity直接生成。

实现方案 #

推荐以下几种高效的实现方式，均需在原Copy Activity执行成功后触发：

1. 使用Azure Function活动

• 步骤：
  • 在管道中添加Azure Function活动，设置依赖为Copy Activity的成功状态。
  • 将生成.tab文件的文件名（可通过管道参数存储表达式结果）作为参数传入Function。
  • 在Function中编写简单代码，替换文件名后缀为.FIN后，在目标存储创建空文件。
• 示例Python代码：

import os
from azure.storage.blob import BlobServiceClient

def main(filename: str):
    # 从环境变量读取存储连接字符串
    conn_str = os.environ["STORAGE_CONN_STR"]
    blob_service = BlobServiceClient.from_connection_string(conn_str)
    container = "your-target-container"
    
    # 生成FIN文件名
    fin_filename = filename.replace(".tab", ".FIN")
    # 创建空Blob
    blob_client = blob_service.get_blob_client(container=container, blob=fin_filename)
    blob_client.upload_blob(b"", overwrite=True)
    
    return f"Empty file created: {fin_filename}"

2. 使用Web Activity调用存储REST API

• 步骤：
  • 确保ADF拥有目标存储的访问权限（托管身份或SAS令牌）。
  • 添加Web Activity，请求方法设为PUT，URL构造为目标Blob的完整地址（替换.tab为.FIN）。
  • 请求体留空，根据授权方式设置请求头：
    • 用托管身份：先通过另一个Web Activity获取Azure AD访问令牌，再在请求头中添加Authorization: Bearer {{token}}。
    • 用SAS令牌：直接将SAS参数拼接在Blob URL后。

3. 使用PowerShell活动（需Self-Hosted IR）

• 步骤：
  • 配置Self-Hosted Integration Runtime并安装Az.Storage模块。
  • 添加PowerShell活动，编写脚本连接存储并创建空Blob：

# 获取管道传入的.tab文件名
$tabFilename = "@pipeline().parameters.outputFileName"
$finFilename = $tabFilename -replace "\.tab$", ".FIN"

# 存储账户信息
$storageAccount = "your-storage-account"
$container = "your-target-container"

# 用托管身份连接存储
Connect-AzAccount -Identity
$storageCtx = New-AzStorageContext -StorageAccountName $storageAccount -UseConnectedAccount

# 创建空Blob
Set-AzStorageBlobContent -Context $storageCtx -Container $container -Blob $finFilename -Value ([System.IO.MemoryStream]::new()) -Force

关键注意事项 #

• 将生成.tab文件的表达式结果存储到管道参数中，后续活动直接引用该参数，避免重复编写表达式导致的不一致。
• 严格设置活动依赖：确保仅当Copy Activity成功完成后，才执行生成.FIN文件的操作，避免空文件提前生成。

内容的提问来源于stack exchange，提问作者Vipina K