You need to enable JavaScript to run this app. 如何使用Python突破Dynamics Web API默认5000条限制获取全量记录
优惠活动
大模型
产品
解决方案
定价
更多

如何使用Python突破Dynamics Web API默认5000条限制获取全量记录

Dynamics Web API 突破5000条返回上限的实现方案

核心原理

  • 接口默认5000条的上限是单页返回阈值,并非接口本身的取数总量限制。当查询结果超过单页阈值时,服务端会在响应JSON中携带@odata.nextLink字段,字段值为下一页的完整请求地址,循环请求该地址直到字段为空,即可拉取全量数据。
  • 不推荐手动拼接$skip参数实现跳页,Dynamics服务端不支持跨大跨度的skip查询,手动跳页容易因为实时数据变动出现记录重复、漏取的问题。

代码修改核心步骤

  1. 修正原代码语法问题:原API_ACCOUNTS变量定义行缺失结尾双引号,会直接触发语法报错。
  2. 将单次请求逻辑替换为循环分页逻辑:初始化全量结果列表,逐页请求并把当前页的记录追加到全量列表中。
  3. 逐页检查响应中的@odata.nextLink字段:存在则将该值作为下一轮的请求地址,不存在则终止循环。
  4. 循环结束后将全量列表序列化写入本地文件,替换原来的单次返回结果写入逻辑。

修改后的完整代码

import requests
import json

LOGIN_URL = 'https://login.microsoftonline.com/xxxxxxxxxxxxxxxxxxxx/oauth2/token'
TENANT_ID = 'xxxxxxxxxxxxxxxxxxxxxx'
CLIENT_ID = 'xxxxxxxxxxxxxxxxxxxxxx'
GRANT_TYPE = 'client_credentials'
CLIENT_SECRET = 'xxxxxxxxxxxxxxxxxxxxxx'
RESOURCE = 'https://xxx.crmX.dynamics.com'
# 修正原代码缺失的闭合双引号
API_ACCOUNTS = "https://xxx.crmX.dynamics.com/api/data/v9.1/accounts"

# 获取访问令牌
token_resp = requests.post(LOGIN_URL, data={
    'tenant_id': TENANT_ID,
    'client_id': CLIENT_ID,
    'client_secret': CLIENT_SECRET,
    'grant_type': GRANT_TYPE,
    'resource': RESOURCE
}).json()

try:
    access_token = token_resp['access_token']
except KeyError:
    print('Could not get access token')
    exit()

# 初始化全量数据存储容器
all_accounts = []
current_request_url = API_ACCOUNTS
request_headers = {'Authorization': 'Bearer ' + access_token}

# 循环拉取全部分页数据
while current_request_url:
    resp = requests.get(current_request_url, headers=request_headers)
    resp.raise_for_status()  # 触发HTTP状态码异常捕获
    page_result = resp.json()
    # 追加当前页的记录到全量列表
    all_accounts.extend(page_result.get('value', []))
    # 更新下一轮请求地址,不存在下一页时赋值为None终止循环
    current_request_url = page_result.get('@odata.nextLink', None)

# 写入全量数据到本地文件
with open("accounts.json", "w", encoding="utf-8") as f:
    json.dump(all_accounts, f, ensure_ascii=False, indent=2)

优化提示

  • 单页请求配置:在请求头中增加Prefer: odata.maxpagesize=1000,将单页返回条数设置为1000(取值范围1-5000),可降低大数据量下的单页请求超时概率。
  • 请求稳定性:循环逻辑中增加接口重试机制,应对临时网络波动导致的请求中断。
  • 拉取效率优化:在初始请求地址后拼接$select=需要查询的字段1,字段2参数,排除不需要的字段,缩小单页返回的数据体积,提升整体拉取速度。

内容的提问来源于stack exchange,提问作者Kamelot

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.06 17:36:10