Power Query M语言实现无总记录数/下页链接的REST API分页拉取
无总记录数的REST API分页全量拉取(Power Query/M语言实现)
M语言没有原生while循环,针对这类无总记录数字段、无下一页返回链接的固定步长分页场景,核心实现思路是用递归函数替代循环逻辑,完全匹配你写的伪代码判断规则,不需要依赖接口提供的额外元数据。
核心逻辑对应关系
完全和你编写的伪代码运行规则对齐:
- 循环终止条件:当某次请求返回的
records数组长度为0时,停止请求,返回所有累计的记录 - 状态迭代:每次请求完成后,将
start参数按固定步长200递增,发起下一页请求 - 数据拼接:每拿到一页的
records数组,就和之前累计的所有记录合并
分步实现代码
1. 定义单页请求基础函数
先把单页请求的逻辑抽成独立函数,降低后续维护成本:
// 固定配置项,根据实际API地址修改 BaseApiUrl = "你的REST API实际地址", PageSize = 200, // 接口固定每页返回条数 // 传入start偏移量,返回当前页的records数组 GetSinglePageRecords = (StartOffset as number) as list => let // 构造带分页参数的请求 ApiResponse = Json.Document(Web.Contents(BaseApiUrl, [ Query = [ start = Text.From(StartOffset) ] // 按接口要求传start查询参数 ])), // 提取当前页的records字段 CurrentPageRecords = ApiResponse[records] in CurrentPageRecords
2. 编写递归全量拉取函数
用递归实现循环迭代,替代M语言缺失的while语法:
// 递归函数入参:当前要请求的start偏移量、已经累计拿到的记录列表 GetAllRecords = (CurrentStart as number, AccumulatedRecords as list) as list => let // 请求当前页数据 CurrentPageData = GetSinglePageRecords(CurrentStart), // 判断是否到达数据末尾(终止条件) IsNoMoreData = List.Count(CurrentPageData) = 0 in if IsNoMoreData then // 终止时返回累计的全部记录 AccumulatedRecords else // 未终止时:合并当前页记录,偏移量加固定步长,递归调用处理下一页 @GetAllRecords( CurrentStart + PageSize, AccumulatedRecords & CurrentPageData )
语法说明:
- 前缀
@是M语言的自引用语法,用于在函数内部调用自身,否则作用域内无法识别当前函数名- 列表拼接用运算符
&,和伪代码里的results + response['records']逻辑完全一致- 终止条件完全匹配伪代码里
size(response['records']) > 0的判断逻辑,不需要依赖总记录数、下一页链接等接口元字段
3. 初始化调用拿到全量数据
根据接口的实际分页规则,传入初始值触发递归:
// 初始值对应:第一页start=0,初始累计的记录为空列表 // (注意:你提供的伪代码里初始start写为1,和示例JSON里第一页start=0的实际结构不符,这里以接口实际要求的参数为准调整即可) AllRawRecords = GetAllRecords(0, []), // 将拼接好的原始记录列表转成结构化表格,对应接口返回的record嵌套结构 FinalResultTable = Table.FromList(AllRawRecords, Splitter.SplitByNothing(), null, null, ExtraValues.Error) |> Table.ExpandRecordColumn([Column1], {"record"}, {"record_info"}) |> Table.ExpandRecordColumn([record_info], {"id", "field1", "field2"}, {"id", "field1", "field2"})
常见注意事项
- 不用担心递归深度问题:M语言的递归是懒求值机制,哪怕需要请求上千页数据(对应几十万条记录),也不会出现栈溢出问题
- 不会触发无效缓存:因为每次请求的
start参数都不同,Power Query的Web请求缓存机制不会复用旧响应,保证每次请求都拿到最新的分页数据 - 适配非满页返回的场景:如果某一页接口返回的记录数不足200条,只要该页记录数大于0,就会正常请求下一页,直到返回空页为止,和实际分页逻辑完全匹配
内容的提问来源于stack exchange,提问作者mrgou
相关产品推荐
相关产品推荐

