Shopify Collects API分页异常：重复数据/无返回问题求助

看起来你遇到的是Shopify API分页机制的典型问题——旧的page参数分页已经不再是Shopify推荐的方式，它在很多场景下会出现数据重复、返回异常的情况，尤其是当数据集有更新或者跨页边界时。结合你的情况，计数显示307条但page=2要么返回重复数据要么在Python中返回None，我们可以从以下几个方面解决：

核心问题：Shopify已弃用基于页码的分页 #

Shopify官方早就推荐使用基于游标（Cursor）的分页替代传统的page参数分页。原因是page参数依赖于静态的数据快照，当数据有新增、删除或者排序变化时，分页结果会出现重复、遗漏或者返回异常的情况。你的场景正好符合这个问题——page=2无法正确返回剩余的57条数据。

解决方案：改用基于since_id的游标分页（简单版） #

最简单的替代方式是使用since_id参数：每次请求时，带上上一页最后一条记录的id，Shopify会返回所有id大于该值的记录，直到达到limit上限。这种方式稳定且不会出现重复。

修改后的代码示例 #

import urllib2
import json
import math
import time
from django.core.management.base import BaseCommand
from your_app.models import Collect  # 替换成你的模型路径

class Command(BaseCommand):
    def handle(self, *args, **options):
        # 初始化认证，只需要做一次，避免重复创建opener
        security = urllib2.HTTPPasswordMgrWithDefaultRealm()
        base_url = "https://[store-username].myshopify.com/admin"
        security.add_password(None, base_url, "[credentials]", "[credentials]")
        auth_handler = urllib2.HTTPBasicAuthHandler(security)
        opener = urllib2.build_opener(auth_handler)
        urllib2.install_opener(opener)

        # 获取总计数
        count_url = f"{base_url}/collects/count.json"
        try:
            collect_feed = urllib2.urlopen(count_url)
            data = collect_feed.read()
            js = json.loads(data)
            count = int(js['count'])
            self.stdout.write(f"Total collects to fetch: {count}")
        except Exception as e:
            self.stdout.write(self.style.ERROR(f"Failed to get count: {str(e)}"))
            return

        # 清空现有数据（根据需求保留或删除）
        Collect.objects.all().delete()

        page_size = 250
        since_id = 0
        total_fetched = 0

        while total_fetched < count:
            # 构造带since_id的请求URL
            fetch_url = f"{base_url}/collects.json?limit={page_size}&since_id={since_id}"
            try:
                collect_feed = urllib2.urlopen(fetch_url)
                data = collect_feed.read()
                js = json.loads(data)
                collects = js.get('collects', [])
                
                if not collects:
                    self.stdout.write("No more collects to fetch.")
                    break

                # 批量保存数据
                saved_count = 0
                for collect_data in collects:
                    collect_id = collect_data["id"]
                    # 跳过已存在的记录（如果没有清空数据的话）
                    if not Collect.objects.filter(collect_id=collect_id).exists():
                        Collect.objects.create(
                            collect_id=collect_id,
                            collection_id=collect_data["collection_id"],
                            product_id=collect_data["product_id"]
                        )
                        saved_count += 1
                
                # 更新游标和统计数据
                since_id = collects[-1]["id"]
                total_fetched += len(collects)
                self.stdout.write(f"Fetched {len(collects)} collects, saved {saved_count} new ones. Total so far: {total_fetched}")

                # 遵守Shopify API速率限制，添加适当延迟
                time.sleep(1)

            except urllib2.HTTPError as e:
                self.stdout.write(self.style.ERROR(f"HTTP Error on fetch: {e.code} - {e.read()}"))
                break
            except Exception as e:
                self.stdout.write(self.style.ERROR(f"Unexpected error: {str(e)}"))
                break

        self.stdout.write(self.style.SUCCESS(f"Collects Updated. Total fetched: {total_fetched}"))

进阶方案：使用page_info的标准游标分页（推荐） #

如果你的Shopify商店使用的是较新的API版本，更推荐使用page_info参数，它通过响应头中的Link字段获取下一页的游标，这种方式是Shopify官方最推荐的分页方式，支持更复杂的排序场景。

关键步骤： #

1. 发起第一次请求（带上limit=250）
2. 解析响应头中的Link字段，提取rel="next"的URL中的page_info参数
3. 下一次请求时带上page_info=xxx&limit=250参数，直到Link头中没有rel="next"

额外排查点 #

1. 检查API权限：确保你的API凭证有read_collects的权限，否则可能返回空数据或者403错误
2. 查看具体错误：原代码的异常处理太宽泛，建议捕获urllib2.HTTPError并打印错误码和响应内容，这样能明确page=2时到底是认证错误、资源不存在还是其他问题
3. 手动测试请求：用curl或者Postman直接请求https://[store-username].myshopify.com/admin/collects.json?limit=250&page=2，查看返回的具体内容，是否包含错误提示

内容的提问来源于stack exchange，提问作者Radek