You need to enable JavaScript to run this app. Power Query M语言实现无总记录数/下页链接的REST API分页拉取
优惠活动
大模型
产品
解决方案
定价
更多

Power Query M语言实现无总记录数/下页链接的REST API分页拉取

无总记录数的REST API分页全量拉取(Power Query/M语言实现)

M语言没有原生while循环,针对这类无总记录数字段、无下一页返回链接的固定步长分页场景,核心实现思路是用递归函数替代循环逻辑,完全匹配你写的伪代码判断规则,不需要依赖接口提供的额外元数据。

核心逻辑对应关系

完全和你编写的伪代码运行规则对齐:

  • 循环终止条件:当某次请求返回的records数组长度为0时,停止请求,返回所有累计的记录
  • 状态迭代:每次请求完成后,将start参数按固定步长200递增,发起下一页请求
  • 数据拼接:每拿到一页的records数组,就和之前累计的所有记录合并

分步实现代码

1. 定义单页请求基础函数

先把单页请求的逻辑抽成独立函数,降低后续维护成本:

// 固定配置项,根据实际API地址修改
BaseApiUrl = "你的REST API实际地址",
PageSize = 200, // 接口固定每页返回条数

// 传入start偏移量,返回当前页的records数组
GetSinglePageRecords = (StartOffset as number) as list =>
    let
        // 构造带分页参数的请求
        ApiResponse = Json.Document(Web.Contents(BaseApiUrl, [
            Query = [ start = Text.From(StartOffset) ] // 按接口要求传start查询参数
        ])),
        // 提取当前页的records字段
        CurrentPageRecords = ApiResponse[records]
    in
        CurrentPageRecords

2. 编写递归全量拉取函数

用递归实现循环迭代,替代M语言缺失的while语法:

// 递归函数入参:当前要请求的start偏移量、已经累计拿到的记录列表
GetAllRecords = (CurrentStart as number, AccumulatedRecords as list) as list =>
    let
        // 请求当前页数据
        CurrentPageData = GetSinglePageRecords(CurrentStart),
        // 判断是否到达数据末尾(终止条件)
        IsNoMoreData = List.Count(CurrentPageData) = 0
    in
        if IsNoMoreData then
            // 终止时返回累计的全部记录
            AccumulatedRecords
        else
            // 未终止时:合并当前页记录,偏移量加固定步长,递归调用处理下一页
            @GetAllRecords(
                CurrentStart + PageSize,
                AccumulatedRecords & CurrentPageData
            )

语法说明:

  • 前缀@是M语言的自引用语法,用于在函数内部调用自身,否则作用域内无法识别当前函数名
  • 列表拼接用运算符&,和伪代码里的results + response['records']逻辑完全一致
  • 终止条件完全匹配伪代码里size(response['records']) > 0的判断逻辑,不需要依赖总记录数、下一页链接等接口元字段

3. 初始化调用拿到全量数据

根据接口的实际分页规则,传入初始值触发递归:

// 初始值对应:第一页start=0,初始累计的记录为空列表
// (注意:你提供的伪代码里初始start写为1,和示例JSON里第一页start=0的实际结构不符,这里以接口实际要求的参数为准调整即可)
AllRawRecords = GetAllRecords(0, []),

// 将拼接好的原始记录列表转成结构化表格,对应接口返回的record嵌套结构
FinalResultTable = Table.FromList(AllRawRecords, Splitter.SplitByNothing(), null, null, ExtraValues.Error)
    |> Table.ExpandRecordColumn([Column1], {"record"}, {"record_info"})
    |> Table.ExpandRecordColumn([record_info], {"id", "field1", "field2"}, {"id", "field1", "field2"})

常见注意事项

  • 不用担心递归深度问题:M语言的递归是懒求值机制,哪怕需要请求上千页数据(对应几十万条记录),也不会出现栈溢出问题
  • 不会触发无效缓存:因为每次请求的start参数都不同,Power Query的Web请求缓存机制不会复用旧响应,保证每次请求都拿到最新的分页数据
  • 适配非满页返回的场景:如果某一页接口返回的记录数不足200条,只要该页记录数大于0,就会正常请求下一页,直到返回空页为止,和实际分页逻辑完全匹配

内容的提问来源于stack exchange,提问作者mrgou

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.27 11:45:04