如何使用Python突破Dynamics Web API默认5000条限制获取全量记录
Dynamics Web API 突破5000条返回上限的实现方案
核心原理
- 接口默认5000条的上限是单页返回阈值,并非接口本身的取数总量限制。当查询结果超过单页阈值时,服务端会在响应JSON中携带
@odata.nextLink字段,字段值为下一页的完整请求地址,循环请求该地址直到字段为空,即可拉取全量数据。 - 不推荐手动拼接
$skip参数实现跳页,Dynamics服务端不支持跨大跨度的skip查询,手动跳页容易因为实时数据变动出现记录重复、漏取的问题。
代码修改核心步骤
- 修正原代码语法问题:原
API_ACCOUNTS变量定义行缺失结尾双引号,会直接触发语法报错。 - 将单次请求逻辑替换为循环分页逻辑:初始化全量结果列表,逐页请求并把当前页的记录追加到全量列表中。
- 逐页检查响应中的
@odata.nextLink字段:存在则将该值作为下一轮的请求地址,不存在则终止循环。 - 循环结束后将全量列表序列化写入本地文件,替换原来的单次返回结果写入逻辑。
修改后的完整代码
import requests import json LOGIN_URL = 'https://login.microsoftonline.com/xxxxxxxxxxxxxxxxxxxx/oauth2/token' TENANT_ID = 'xxxxxxxxxxxxxxxxxxxxxx' CLIENT_ID = 'xxxxxxxxxxxxxxxxxxxxxx' GRANT_TYPE = 'client_credentials' CLIENT_SECRET = 'xxxxxxxxxxxxxxxxxxxxxx' RESOURCE = 'https://xxx.crmX.dynamics.com' # 修正原代码缺失的闭合双引号 API_ACCOUNTS = "https://xxx.crmX.dynamics.com/api/data/v9.1/accounts" # 获取访问令牌 token_resp = requests.post(LOGIN_URL, data={ 'tenant_id': TENANT_ID, 'client_id': CLIENT_ID, 'client_secret': CLIENT_SECRET, 'grant_type': GRANT_TYPE, 'resource': RESOURCE }).json() try: access_token = token_resp['access_token'] except KeyError: print('Could not get access token') exit() # 初始化全量数据存储容器 all_accounts = [] current_request_url = API_ACCOUNTS request_headers = {'Authorization': 'Bearer ' + access_token} # 循环拉取全部分页数据 while current_request_url: resp = requests.get(current_request_url, headers=request_headers) resp.raise_for_status() # 触发HTTP状态码异常捕获 page_result = resp.json() # 追加当前页的记录到全量列表 all_accounts.extend(page_result.get('value', [])) # 更新下一轮请求地址,不存在下一页时赋值为None终止循环 current_request_url = page_result.get('@odata.nextLink', None) # 写入全量数据到本地文件 with open("accounts.json", "w", encoding="utf-8") as f: json.dump(all_accounts, f, ensure_ascii=False, indent=2)
优化提示
- 单页请求配置:在请求头中增加
Prefer: odata.maxpagesize=1000,将单页返回条数设置为1000(取值范围1-5000),可降低大数据量下的单页请求超时概率。 - 请求稳定性:循环逻辑中增加接口重试机制,应对临时网络波动导致的请求中断。
- 拉取效率优化:在初始请求地址后拼接
$select=需要查询的字段1,字段2参数,排除不需要的字段,缩小单页返回的数据体积,提升整体拉取速度。
内容的提问来源于stack exchange,提问作者Kamelot
相关产品推荐
相关产品推荐

