Azure CLI查询存储容器特定路径时nextMarker卡住问题求助

用户通过Azure CLI的az storage blob list命令，指定--prefix定位特定路径，配合Shell脚本循环使用nextMarker分页查询Blob，但运行约1小时后卡在同一个nextMarker，无法继续搜索，重试（间隔24小时、从之前marker重启）均无效，已搜索1076000个文件。

• Marker字符串处理错误：脚本中通过固定截取字符串长度（expr=${line:4:${#line}}）提取nextMarker，但yamlc格式的输出可能存在缩进、引号或格式变化，导致截取的marker值不正确，每次请求都复用错误的marker，从而卡在同一位置。
• CLI分页逻辑bug：特定版本的Azure CLI可能存在分页处理的bug，导致返回的nextMarker无法正确推进。
• 异常Blob干扰：nextMarker指向的位置可能存在名称含特殊字符、元数据异常的Blob，导致分页查询无法正常推进。
• 未处理请求限制：虽然Azure存储的配额一般不会直接导致卡marker，但如果请求速率达到限制（返回429错误），脚本未处理错误会导致流程中断或重复请求同一marker。

1. 更换输出格式并使用可靠的JSON解析 #

放弃yamlc格式，改用json输出，配合jq工具解析nextMarker和Blob名称，避免字符串截取的错误：
修改后的Azure CLI命令：

container_name=pure3
numResults=1000
marker="---some value----"
az storage blob list \
       --account-name $account_name \
       --account-key $key \
       --num-results $numResults \
       --show-next-marker \
       --container-name $container_name \
       --prefix "pure3/fastqs/170707_" \
       --marker "$marker" \
       --query "{blobs: [].name, nextMarker: nextMarker}" --output json

修改后的Shell脚本（需提前安装jq）：

#!/bin/bash

# 初始化marker
marker=""
output_file="Blob_Files"

while true; do
    # 执行az命令并保存结果
    az_result=$(az storage blob list \
        --account-name $account_name \
        --account-key $key \
        --num-results 1000 \
        --show-next-marker \
        --container-name pure3 \
        --prefix "pure3/fastqs/170707_" \
        --marker "$marker" \
        --query "{blobs: [].name, nextMarker: nextMarker}" --output json)

    # 检查命令执行状态，失败则重试
    if [ $? -ne 0 ]; then
        echo "命令执行失败，5秒后重试..."
        sleep 5
        continue
    fi

    # 提取blob名称并写入文件
    echo "$az_result" | jq -r '.blobs[]' >> "$output_file"

    # 提取nextMarker
    marker=$(echo "$az_result" | jq -r '.nextMarker')

    # 无marker则结束循环
    if [ "$marker" == "null" ] || [ -z "$marker" ]; then
        break
    fi

    echo "当前marker: $marker"
    # 添加延迟避免请求过于频繁
    sleep 1
done

echo "搜索完成，结果已保存到$output_file"

2. 排查异常Blob #

如果更换解析方式后仍卡在同一marker，尝试缩小--num-results（比如改为100），手动执行命令查看返回的Blob，检查是否存在名称含特殊字符（如空格、非ASCII字符）或元数据异常的Blob，可尝试手动列出该位置的Blob，确认是否能正常获取。

3. 更新Azure CLI #

确保使用最新版本的Azure CLI，避免旧版本的分页bug：

az upgrade

4. 检查存储账户监控 #

登录Azure门户，查看存储账户的指标（如请求速率、错误率），确认是否存在429（请求超限）错误。如果是速率限制，可适当增加脚本中的延迟时间（sleep），或考虑升级存储账户类型（如高级存储账户）。

内容的提问来源于stack exchange，提问作者Priyank Shukla