使用Shopify API与Laravel获取全量客户数据异常排查

你的代码仅能获取250条客户数据，核心原因是分页链接（Link Header）解析逻辑存在缺陷，导致无法正确获取下一页的URL，循环仅执行一次就终止。以下是具体问题和修复步骤：

1. 分页链接解析逻辑错误 #

当前getNextPageUrl方法使用的正则表达式无法正确处理包含多个链接的Link Header（比如同时包含prev和next的情况）。Shopify的Link Header格式通常为：

<https://xxx/admin/api/2025-01/customers.json?limit=250&page_info=xxx>; rel="prev", <https://xxx/admin/api/2025-01/customers.json?limit=250&page_info=yyy>; rel="next"

原正则表达式/<(.*?)>; rel="next"/会匹配第一个<...>后的内容，但由于next链接前有逗号和空格，无法被正确捕获。

修复方案：重写getNextPageUrl方法 #

改用更可靠的方式解析Link Header，拆分每个链接项后逐一检查：

private function getNextPageUrl($headers)
{
    if (!isset($headers['link'])) {
        return null;
    }

    // 将Link header拆分为单个链接项
    $linkItems = explode(',', $headers['link']);
    
    foreach ($linkItems as $item) {
        $item = trim($item);
        // 检查当前链接是否为next页
        if (strpos($item, 'rel="next"') !== false) {
            // 提取链接URL
            preg_match('/<(.*?)>/', $item, $matches);
            return $matches[1] ?? null;
        }
    }
    
    return null;
}

2. 验证Header解析正确性 #

确认shopify_call方法是否正确将响应头解析为关联数组，确保$headers['link']存在且格式正确。可以通过日志查看Header内容：

// 在循环内添加日志，查看每次请求的Link Header
Log::info('Current Link Header:', ['value' => $headers['link'] ?? 'Not found']);

3. 额外优化建议 #

• 增加HTTP状态码检查：在处理API响应时，检查状态码是否为200，避免因请求失败（如速率限制）导致数据中断：

  $httpCode = $response['http_code'] ?? null;
  if ($httpCode !== 200) {
      Log::error('API Request Failed', ['code' => $httpCode, 'response' => $responseBody]);
      // 可根据情况添加重试逻辑或终止循环
      break;
  }
  

• 调整速率限制等待时间：Shopify Admin API的速率限制为2次/秒，当前usleep(500000)（0.5秒）符合要求，但如果遇到429错误，可增加等待时间或实现指数退避。

内容的提问来源于stack exchange，提问作者Hola