如何在ADF Web活动中获取存储账户18000张表的完整列表

Azure Table Storage的List Tables接口默认采用分页机制，单次请求最多返回1000张表；当存在更多表时，响应会包含NextMarker字段，用于获取下一页数据。要获取全部18000张表，需通过循环分页请求实现，具体步骤如下：

1. 初始化管道变量 #

在Data Factory管道中创建两个变量：

• allTableNames：类型为数组，用于存储所有表的名称。
• nextMarker：类型为字符串，初始值为空，用于记录分页标记。

2. 配置Do Until循环 #

添加一个Do Until活动，设置循环终止条件为：

@empty(variables('nextMarker'))

即当没有下一页标记时停止循环。同时将循环的最大迭代次数设置为20（18000/1000=18，预留冗余量避免提前终止）。

3. 在循环内修改Web Activity的URL #

修改原Web Activity的URL表达式，加入分页标记参数：

@concat(
    'https://stccuatuks001.blob.core.windows.net/?comp=list',
    pipeline().parameters.sourceSAS,
    if(not(empty(variables('nextMarker'))), concat('&marker=', uriComponent(variables('nextMarker'))), '')
)

通过uriComponent()对nextMarker进行URL编码，避免特殊字符导致请求失败。

4. 更新分页标记 #

在Web Activity之后添加Set Variable活动，将nextMarker变量更新为当前响应中的分页标记：

@activity('ListTables').output.ListTablesResult.NextMarker

如果当前是最后一页，响应中不会包含NextMarker，此时变量值为空，循环会自动终止。

5. 收集所有表名 #

再添加一个Append Variable活动，将当前页返回的表名追加到allTableNames变量中。如果只需要表名字符串，使用以下表达式提取：

@map(activity('ListTables').output.ListTablesResult.Tables, item().TableName)

若需保留完整表对象，直接使用@activity('ListTables').output.ListTablesResult.Tables即可。

注意事项 #

• 确保传入的SAS令牌拥有List权限，且服务资源类型（sr参数）包含表服务（t）。
• 检查SAS令牌格式，确保拼接&marker=时不会出现参数冲突（通常生成的SAS会以&开头或结尾，无需额外处理）。

内容的提问来源于stack exchange，提问作者Vaishnavi Vaishu