PowerShell调用API提取全量数据遇阻：仅返回1000条记录的咨询

(A) 当前分页实现的潜在错误 #

• 响应体分页元数据路径可能错误：脚本依赖$responseData.meta.pagination下的字段判断分页状态，但如果API返回的分页元数据结构不同（比如直接在$responseData.pagination下，或字段名不匹配），会导致current_page和total_pages取值为$null，两者相等触发循环终止，仅执行一次API调用，只能获取1000条数据。
• 未处理API调用异常：脚本没有添加错误捕获逻辑，若某次API调用失败（如网络波动、令牌过期），会直接终止脚本，无法完成全量数据提取。
• GET请求携带未定义参数：Invoke-RestMethod中传入了未定义的$body变量，虽然GET请求通常忽略Body，但可能引发潜在异常，建议移除该参数。

(B) 分页能否绕过单调用记录限制？ #

分页的核心作用是在API单调用限制的约束下，分批获取全量数据，并非"绕过"限制。供应商明确支持page/limit分页，说明允许通过多次合规调用获取所有数据，只要单次调用的limit不超过1000，即可按规则完成全量提取。

技术优化建议 #

1. 改用响应头Link实现可靠分页 #

利用供应商返回的Link头中的next链接进行分页，无需依赖响应体内的元数据，兼容性和可靠性更强：

# 初始化高效数据容器
$allData = [System.Collections.Generic.List[object]]::new()
$headers = @{
    'Content-Type' = 'application/json'
    'Authorization' = 'Bearer SomeTokenKey'
    'Accept'= 'application/json'
}

# 初始请求URL
$uri = "https://mysite.Someapisite.com/api/locations?page=1&limit=1000"

do {
    # 发起API请求并捕获响应头
    $response = Invoke-RestMethod -Uri $uri -Method GET -Headers $headers -ResponseHeadersVariable respHeaders
    $allData.AddRange($response.data)

    # 从Link头中提取下一页链接
    $linkHeader = $respHeaders['Link']
    $nextUri = $null
    if ($linkHeader) {
        $nextMatch = [regex]::Match($linkHeader, '<([^>]+)>; rel="next"')
        if ($nextMatch.Success) {
            $uri = $nextMatch.Groups[1].Value
        } else {
            $nextUri = $null
        }
    }
} while ($nextUri)

# 导出全量数据
$allData | Export-Csv -Path 'c:\extracts\locations.csv' -NoTypeInformation -Force

2. 验证分页元数据结构 #

先单独调用一次API，确认响应体的分页元数据路径：

$testResponse = Invoke-RestMethod -Uri "https://mysite.Someapisite.com/api/locations?page=1&limit=1000" -Headers $headers
# 输出分页元数据，检查路径是否正确
$testResponse.meta.pagination | Format-List

若输出为空或报错，说明元数据路径错误，需调整脚本中的判断逻辑。

3. 添加错误处理机制 #

在循环中加入try/catch块，处理调用失败的情况：

do {
    try {
        $response = Invoke-RestMethod -Uri $uri -Method GET -Headers $headers -ResponseHeadersVariable respHeaders
        $allData.AddRange($response.data)
        
        # 解析next链接逻辑...
    } catch {
        Write-Warning "API调用失败: $_"
        # 可选：添加重试延迟
        Start-Sleep -Seconds 5
        continue
    }
} while ($nextUri)

4. 优化数据存储效率 #

使用[System.Collections.Generic.List[object]]代替传统数组@()，避免每次+=操作重建数组，提升大数量数据的处理效率。

内容的提问来源于stack exchange，提问作者Depth of Field