Node.js环境下能否通过HTTPS请求一次性获取Web目录内容？Wikia图片批量检索方案咨询

核心结论：无法通过HTTPS请求直接获取Wikia的目录内容 #

首先明确：Wikia（以及绝大多数现代Web服务）的服务器默认禁用了目录索引功能。当你请求https://static.wikia.nocookie.net/<game name>/images/X/XY/这类目录URL时，服务器不会返回目录内的文件列表，通常会返回403 Forbidden错误或重定向到无意义页面。因此你设想的Option1（批量获取目录文件列表）在技术上不可行。

最优方案：利用Wikia的MediaWiki API直接查询图片URL #

你可能不知道，Wikia基于MediaWiki搭建，提供了官方API可以直接通过文件名查询图片的真实存储URL——这是效率最高、最合规的方案，完全不需要暴力遍历路径，比Option2快无数倍，还能避免触发反爬机制。

Node.js实现示例（使用node-fetch）

const fetch = require('node-fetch'); // 先通过npm install node-fetch安装

/**
 * 通过Wikia API查询图片真实URL
 * @param {string} gameName - 你的游戏Wikia站点名称（比如"minecraft"对应minecraft.fandom.com）
 * @param {string} fileName - 目标图片文件名（如"Example_Item.png"）
 * @returns {Promise<string|null>} 图片真实URL或null（未找到）
 */
async function getWikiaImageUrl(gameName, fileName) {
  const apiUrl = `https://${gameName}.fandom.com/api.php`;
  const params = new URLSearchParams({
    action: 'query',
    prop: 'imageinfo',
    iiprop: 'url',
    titles: `File:${fileName}`,
    format: 'json'
  });

  try {
    const response = await fetch(`${apiUrl}?${params}`);
    const data = await response.json();
    
    // 解析API返回结果
    const pages = data.query.pages;
    const pageId = Object.keys(pages)[0];
    if (pages[pageId].imageinfo) {
      return pages[pageId].imageinfo[0].url;
    } else {
      console.warn(`未找到图片: ${fileName}`);
      return null;
    }
  } catch (error) {
    console.error(`查询图片 ${fileName} 出错:`, error);
    return null;
  }
}

// 调用示例
(async () => {
  const url = await getWikiaImageUrl('your-game-name', 'Target_Image.png');
  if (url) {
    console.log('图片真实URL:', url);
    // 这里可以将URL写入本地缓存文件（如JSON）
  }
})();

若必须使用暴力遍历（仅作备选，不推荐） #

如果因特殊原因无法使用API，可对Option2进行大幅优化：

1. 预先生成所有256个可能的目录路径（16个X值，每个X对应16个XY值，共16*16=256种组合）。
2. 对每个图片，遍历这些路径时使用HEAD请求（比GET轻量，仅检查状态码），若返回200则说明文件存在。
3. 核心优化：缓存已找到的图片URL，同时缓存已验证为空的目录，避免重复请求。
4. 必须添加请求延迟（如100ms/次），避免触发Wikia的反爬封禁。

简化版暴力遍历实现

const https = require('https');
const fs = require('fs').promises;

const gameName = 'your-game-name';
const targetFiles = ['Image1.png', 'Image2.png']; // 你的数千个文件名列表
const urlCache = new Map(); // 缓存已找到的URL
const invalidDirs = new Set(); // 缓存已验证无目标文件的目录

// 生成所有256个可能的目录前缀
const generateAllDirPrefixes = () => {
  const hexChars = '0123456789abcdef';
  const prefixes = [];
  for (const x of hexChars) {
    for (const y of hexChars) {
      prefixes.push(`https://static.wikia.nocookie.net/${gameName}/images/${x}/${x+y}/`);
    }
  }
  return prefixes;
};

const allDirPrefixes = generateAllDirPrefixes();

// 检查单个路径下是否存在目标文件
async function checkFileExists(prefix, fileName) {
  return new Promise((resolve) => {
    const url = `${prefix}${fileName}`;
    https.head(url, (res) => {
      resolve(res.statusCode === 200 ? url : null);
    }).on('error', () => resolve(null));
  });
}

// 查找单个图片的URL
async function findImageUrl(fileName) {
  if (urlCache.has(fileName)) return urlCache.get(fileName);
  
  for (const prefix of allDirPrefixes) {
    if (invalidDirs.has(prefix)) continue;
    
    const foundUrl = await checkFileExists(prefix, fileName);
    if (foundUrl) {
      urlCache.set(fileName, foundUrl);
      return foundUrl;
    } else {
      invalidDirs.add(prefix);
    }
    // 添加延迟避免封禁
    await new Promise(resolve => setTimeout(resolve, 100));
  }
  return null;
}

// 批量处理所有图片
async function batchProcess() {
  const results = [];
  for (const file of targetFiles) {
    const url = await findImageUrl(file);
    if (url) results.push({ fileName: file, url });
  }
  // 将结果写入本地缓存文件
  await fs.writeFile('image-urls-cache.json', JSON.stringify(results, null, 2));
  console.log('批量处理完成，缓存已保存');
}

batchProcess();

额外注意事项 #

1. 合规性与反爬：使用API是Wikia允许的合法行为，暴力遍历可能违反其服务条款，建议优先选择API方案。
2. 请求速率控制：无论用哪种方法，都必须控制请求频率，必要时可使用代理IP池分散请求来源。
3. 持久化缓存：务必将找到的URL写入本地文件（如JSON），避免重复发起无效请求。

内容来源于stack exchange