如何用NodeJS获取Shopify应用商店渲染完成的网页内容，或使用搜索API

一、用Node.js的Puppeteer获取渲染完成的HTML #

Shopify应用商店的应用列表是通过JavaScript动态加载的，静态HTTP工具（比如axios、request）只能拿到初始未渲染的HTML。Puppeteer是Chrome官方的无头浏览器工具，能模拟真实浏览器加载页面，执行JS后获取最终渲染的完整内容。

1. 安装依赖 #

npm install puppeteer

2. 编写代码保存HTML #

const puppeteer = require('puppeteer');
const fs = require('fs').promises;

(async () => {
  // 启动新版无头浏览器，性能更优
  const browser = await puppeteer.launch({
    headless: 'new',
    args: ['--no-sandbox', '--disable-setuid-sandbox'] // 部分Linux环境需添加避免权限问题
  });
  const page = await browser.newPage();

  // 加载目标页面，等待网络空闲确保动态内容加载完成
  await page.goto('https://apps.shopify.com/', {
    waitUntil: 'networkidle2' // 当页面网络请求数≤2且持续500ms时，判定加载完成
  });

  // 可选：滚动到底部加载所有应用（应对无限滚动）
  await page.evaluate(async () => {
    await new Promise(resolve => {
      let totalScrolled = 0;
      const scrollStep = 1000;
      const timer = setInterval(() => {
        const scrollHeight = document.body.scrollHeight;
        window.scrollBy(0, scrollStep);
        totalScrolled += scrollStep;

        if (totalScrolled >= scrollHeight) {
          clearInterval(timer);
          resolve();
        }
      }, 150);
    });
  });

  // 获取渲染后的完整HTML
  const renderedHtml = await page.content();

  // 保存到本地文件
  await fs.writeFile('shopify_apps_rendered.html', renderedHtml);

  await browser.close();
  console.log('渲染后的HTML已成功保存');
})();

注意事项 #

• 首次运行Puppeteer会自动下载Chrome内核，需保证网络稳定
• 可根据页面加载速度调整滚动间隔（代码中的150ms）和等待策略
• 若仅需首屏内容，可删除滚动加载的代码块

二、Shopify应用商店的API选项 #

Shopify官方没有公开的应用商店搜索/列表API，但有两种替代思路：

• Shopify Partner API：如果你是Shopify合作伙伴，部分接口可用于管理自有应用，但无法直接获取全平台应用列表
• 页面XHR接口：观察应用商店页面的网络请求，能找到返回应用数据的JSON接口（类似/api/v1/apps的路径），直接请求这类接口可拿到结构化数据，比解析HTML更高效。但需注意：这类接口是非官方的，无文档支持，随时可能变更，且可能违反Shopify服务条款，使用需谨慎。

合规提示 #

无论使用爬虫还是调用非官方接口，都需遵守Shopify的服务条款，避免高频请求导致IP被封禁。

内容的提问来源于stack exchange，提问作者DarkZeus