如何在Okta API调用中实现分页并遍历全量返回结果？

核心逻辑 #

Okta的分页标识放在接口响应头的Link字段中，格式类似<https://xxx.okta.com/api/xxx?after=xxx>; rel="next"，只要响应头里存在rel="next"标记的链接，就说明还有下一页数据；如果不存在该标记，代表已经拉取到最后一页。
你只需要循环执行「发请求-存当前页数据-解析下一页地址-用下一页地址发新请求」的流程，直到解析不到next地址即可拿到全量数据。

可直接运行的Shell实现 #

脚本依赖系统自带的curl、grep、sed，如果需要合并成标准JSON数组，额外安装jq即可：

#!/bin/bash
# 请替换为你自己的配置
OKTA_DOMAIN="你的Okta租户域名，比如xxx.okta.com"
API_TOKEN="你的Okta API访问令牌"
INITIAL_REQUEST_PATH="/api/v1/users?limit=200" # 替换为你实际要调用的接口路径
FINAL_OUTPUT="okta_all_data.json"

# 初始化临时文件
TMP_FULL_RESP=$(mktemp)
TMP_BODY=$(mktemp)
TMP_RAW_DATA=$(mktemp)

current_url="https://${OKTA_DOMAIN}${INITIAL_REQUEST_PATH}"

while [ -n "$current_url" ]; do
  # 发起请求，完整响应（头+体）存入临时文件
  curl -s -i \
    -H "Authorization: SSWS ${API_TOKEN}" \
    -H "Accept: application/json" \
    "$current_url" > "$TMP_FULL_RESP"

  # 拆分响应头和响应体（头和体以空行分隔）
  sed -n '/^\r$/,$p' "$TMP_FULL_RESP" | sed '1d' > "$TMP_BODY"
  # 把当前页的JSON对象打平后存入临时文件，方便后续合并
  cat "$TMP_BODY" | jq -c '.[]' >> "$TMP_RAW_DATA"

  # 从响应头解析下一页地址
  current_url=$(grep -i 'link:' "$TMP_FULL_RESP" | grep -i 'rel="next"' | sed -E 's/.*<([^>]+)>;.*/\1/')
done

# 把所有分页数据合并为标准JSON数组
jq -s '.' "$TMP_RAW_DATA" > "$FINAL_OUTPUT"

# 清理临时文件
rm "$TMP_FULL_RESP" "$TMP_BODY" "$TMP_RAW_DATA"
echo "全量数据拉取完成，已保存至: $FINAL_OUTPUT"

注意事项 #

• 如果不想安装jq，可以把脚本里打平、合并JSON的逻辑去掉，直接在循环里执行cat "$TMP_BODY" >> "$FINAL_OUTPUT"即可，只是最终输出的是多段独立的JSON数组拼接的内容，不是标准的单个JSON数组。
• 拉取大批量数据时建议在循环末尾加sleep 0.2的短延时，避免触发Okta接口的速率限制返回429错误。
• 所有分页请求必须和首次请求保持一致的请求头（尤其是鉴权头、Accept头），否则会出现鉴权失败、返回格式异常的问题。

内容的提问来源于stack exchange，提问作者meatwad