如何通过合规方式监听公开GitHub仓库变更以更新Node.js数据库？

下面是两种GitHub官方认可的合规方案，替代你提到的页面爬取方式：

1. GitHub Webhook（实时触发，推荐） #

这是最高效的合规方式，当仓库发生指定事件（比如master分支收到push）时，GitHub会主动向你配置的服务器URL发送通知，无需主动轮询。

配置步骤： #

• 打开目标GitHub仓库的「Settings > Webhooks」页面，点击「Add webhook」
• 填写你的Node.js服务器公网可访问的URL（例如 https://your-server.com/github-webhook）
• 触发事件选择「Just the push event」，并指定分支为master（或你需要监听的分支）
• （可选但强烈推荐）设置Secret，用于验证请求确实来自GitHub

Node.js处理示例（Express框架）： #

const express = require('express');
const crypto = require('crypto');
const app = express();

// 替换为你在Webhook设置里填的Secret
const WEBHOOK_SECRET = 'your-webhook-secret';

// 用raw body解析请求，因为需要验证签名
app.use('/github-webhook', express.raw({ type: 'application/json' }));

app.post('/github-webhook', (req, res) => {
  // 验证GitHub请求签名
  const signature = req.headers['x-hub-signature-256'];
  const hmac = crypto.createHmac('sha256', WEBHOOK_SECRET);
  const digest = `sha256=${hmac.update(req.body).digest('hex')}`;

  if (!crypto.timingSafeEqual(Buffer.from(signature), Buffer.from(digest))) {
    return res.status(403).send('Invalid signature');
  }

  // 解析请求体，确认是master分支的push
  const payload = JSON.parse(req.body);
  if (payload.ref === 'refs/heads/master') {
    // 这里执行你的数据库更新逻辑
    console.log('Master分支已更新，开始同步数据库');
    // updateDatabase(payload);
  }

  res.status(200).send('OK');
});

app.listen(3000, () => {
  console.log('服务器监听端口3000');
});

2. GitHub API定时轮询（适合无公网IP场景） #

如果你的服务器无法提供公网可访问的地址，改用GitHub官方REST API定时检查仓库状态，这比爬取页面合规得多，不会触发反爬限制。

核心逻辑： #

定时调用API获取master分支的最新commit SHA，与本地存储的SHA对比，若不一致则触发数据库更新。

Node.js示例（结合node-fetch和node-schedule）： #

const fetch = require('node-fetch');
const schedule = require('node-schedule');
// 替换为你的数据库操作模块
const { saveLastCommitSha, getLastCommitSha, updateDatabase } = require('./db-utils');

const REPO_OWNER = 'repo-owner';
const REPO_NAME = 'repo-name';
// 可选：使用GitHub Personal Access Token提升API调用限额（未认证每小时60次，认证后5000次）
const GITHUB_TOKEN = 'your-personal-access-token';

// 初始化获取最新commit SHA
async function init() {
  const res = await fetch(`https://api.github.com/repos/${REPO_OWNER}/${REPO_NAME}/commits/master`, {
    headers: GITHUB_TOKEN ? { Authorization: `token ${GITHUB_TOKEN}` } : {}
  });
  const commitData = await res.json();
  await saveLastCommitSha(commitData.sha);
}

// 检查更新并同步数据库
async function checkForUpdates() {
  try {
    const res = await fetch(`https://api.github.com/repos/${REPO_OWNER}/${REPO_NAME}/commits/master`, {
      headers: GITHUB_TOKEN ? { Authorization: `token ${GITHUB_TOKEN}` } : {}
    });
    const commitData = await res.json();
    const lastSha = await getLastCommitSha();

    if (commitData.sha !== lastSha) {
      console.log('发现新提交，更新数据库');
      await updateDatabase(commitData);
      await saveLastCommitSha(commitData.sha);
    }
  } catch (err) {
    console.error('检查更新失败:', err);
  }
}

// 初始化后每小时执行一次检查
init().then(() => {
  // 每小时整点执行
  schedule.scheduleJob('0 * * * *', checkForUpdates);
  console.log('定时检查任务已启动');
});

方案对比 #

• Webhook：实时性强，资源消耗低，优先推荐，但要求服务器有公网可访问地址
• API轮询：无需公网地址，实现简单，但存在延迟，需注意API调用频率限制

注意：不要爬取GitHub页面，这违反GitHub的服务条款，官方API和Webhook是唯一合规的获取仓库变更信息的方式。

内容的提问来源于stack exchange，提问作者Jonathan