如何从Wix、Bigcommerce等电商平台抓取JSON格式商品数据？

Wix #

• Wix没有统一的公开JSON接口，得抓它的前端实际调用的API。打开浏览器F12进Network面板，看XHR/fetch请求，一般能找到类似https://www.{wix-store}.com/_api/wix-ecom-storefront/v1/catalog/products的接口，参数里可以用limit、offset控制分页，还能加筛选条件。注意请求头要带上Wix特定的标识，比如x-wix-client-artifact-id，不然容易返回403。
• 部分Wix商店支持/collections/{collection-slug}.json，但不是通用方案，优先抓前端实际请求更靠谱。

Bigcommerce #

• 官方有REST API，需要先申请Store Hash、Client ID这类密钥，接口地址是https://api.bigcommerce.com/stores/{store-hash}/v3/catalog/products，支持分页、筛选、自定义返回字段，数据格式很规范。
• 如果不想走官方API，也可以抓前端商品列表请求，通常是https://{store-url}/api/storefront/products，不用密钥，但返回的字段可能少点，而且可能有反爬限制。

Visualsoft #

• 多数Visualsoft商店有前端API，比如https://{store-url}/api/products，用page、pageSize参数分页；如果要抓分类商品，就用https://{store-url}/api/categories/{category-id}/products。
• 还有个偷懒的方法：有些商店会在页面源码里嵌JSON数据，搜window.__INITIAL_STATE__或者类似全局变量，直接提取里面的商品列表就行，不用额外发请求。

通用实操技巧 #

• 不管哪个平台，用浏览器F12的Network面板抓请求都是最稳妥的：切到XHR/fetch标签，刷新商品页，找到返回商品数据的请求，复制它的URL和请求头直接复用。
• 注意反爬：很多平台会查User-Agent、Referer，甚至封IP，建议加合理的请求头，必要时用代理。
• 别刷太频繁，遵守网站的robots.txt规则。

内容的提问来源于stack exchange，提问作者Subin Sen