在ADF Gen2中如何将变量保存为CSV/JSON文件及相关问题求助

一、修复Copy Activity无法导出变量数据的问题 #

Copy Activity默认处理存储中的数据集，直接用变量作为源需要特殊配置，按以下步骤调整：

1. 配置Copy Activity的源为Inline Dataset

   • 源类型选择Inline，格式根据目标文件类型选JSON或DelimitedText。
   • 在「Content」字段中引用变量：
     • 如果变量是JSON数组：直接写 @variables('yourVariableName')
     • 如果变量是单个JSON对象：转成数组格式 @createArray(variables('yourVariableName'))（Copy Activity要求源是可迭代的集合）
     • 如果变量是字符串格式的JSON：先转成JSON对象/数组 @json(variables('yourVariableName'))

2. 检查变量的实际格式
   从你提供的Web Activity响应和Set Variable输出截图来看，确认变量存储的是合法JSON结构：

   • 如果输出里有转义双引号（如\"id\":\"123\"），说明变量存的是字符串，必须用@json()转换后再传入Copy Activity，否则Copy会把整个字符串当成一行文本，而不是解析JSON结构。

3. 配置目标存储账户

   • 目标选择你的ADLS Gen2存储，数据集类型对应选JSON或DelimitedText，指定容器和输出文件路径（比如output/api-data.json）。
   • 如果存CSV，在目标数据集里配置分隔符（如逗号），并开启「First row as header」（当源是对象数组时，会自动从键生成表头）。

二、将变量转存为文件的其他方案 #

除了Copy Activity，以下两种场景可选：

方案1：Azure Function Activity（适合复杂数据处理） #

写一个轻量Azure Function接收变量数据，直接写入ADLS Gen2。示例Python代码：

import azure.functions as func
from azure.storage.filedatalake import DataLakeServiceClient
import json

def main(req: func.HttpRequest) -> func.HttpResponse:
    req_body = req.get_json()
    # 替换为你的存储账户信息
    account_name = "your-storage-account"
    account_key = "your-storage-key"
    container = "your-container"
    file_path = "output/data.json"

    service_client = DataLakeServiceClient(
        account_url=f"https://{account_name}.dfs.core.windows.net",
        credential=account_key
    )
    file_system_client = service_client.get_file_system_client(container)
    file_client = file_system_client.create_file(file_path)
    file_client.upload_data(json.dumps(req_body), overwrite=True)

    return func.HttpResponse("File saved", status_code=200)

在ADF中调用该Function时，将变量作为请求体传入即可。

方案2：Script Activity（依赖SQL池） #

如果ADF已连接SQL池，可先将变量数据插入临时表，再从表复制到存储。但步骤冗余，仅适合需要先做SQL处理的场景。

三、常见排查要点 #

• 权限问题：确认ADF的托管身份对ADLS Gen2存储账户拥有Storage Blob Data Contributor角色权限。
• 数据类型不兼容：Copy Activity无法直接处理非JSON/数组类型的变量，必须确保源内容是可迭代的结构化数据。
• Inline Dataset配置错误：不要用常规存储源（如ADLS Gen2文件）作为Copy的源，必须选择Inline类型。

内容的提问来源于stack exchange，提问作者Jesus Gerardo Zavala Hernandez