嘿，我碰到过不少类似的情况，Pageres虽然好用，但面对现代网站的各种反爬和渲染机制，确实容易踩坑。结合你说的有权限访问、robots.txt也没问题的情况，咱们从几个常见的方向排查：

1. 先搞清楚认证方式对不对 #

你代码里的username和password配置，Pageres只对HTTP基本认证生效。如果目标网站是用表单输入账号密码登录的，这个配置完全没用。这种情况得手动模拟登录流程：

const pageres = new Pageres({
  launchOptions: {
    headless: 'new' // 用新版无头模式，更难被网站检测
  }
})
// 先打开登录页，手动填写表单提交
await pageres.browser.context().pages()[0].goto('https://目标网站的登录页面');
await pageres.browser.context().pages()[0].fill('#username-input', '你的账号');
await pageres.browser.context().pages()[0].fill('#password-input', '你的密码');
await pageres.browser.context().pages()[0].click('#submit-button');
// 等登录完成，再跳转到目标页面截图
await pageres.src('https://需要截图的目标页面', ['1920x1080']).dest('./screenshots').run();

2. 伪装成真实浏览器，避免被无头模式检测 #

很多网站会识别无头浏览器的特征（比如navigator.webdriver属性），直接拒绝访问或者让页面加载异常。给Pageres加些配置伪装一下：

const pageres = new Pageres({
  launchOptions: {
    headless: 'new',
    args: [
      '--no-sandbox',
      '--disable-setuid-sandbox',
      '--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36'
    ]
  },
  beforeScreenshot: async (page) => {
    // 移除无头浏览器的标识
    await page.evaluate(() => {
      Object.defineProperty(navigator, 'webdriver', {
        get: () => undefined
      });
    });
    // 等待页面关键元素加载完成，确保截图完整
    await page.waitForSelector('.page-content', { timeout: 10000 });
  }
});

3. 调整页面加载等待策略 #

有些SPA或者动态加载的网站，Pageres默认的等待时间不够，截图时页面还没渲染完。可以通过两种方式优化：

// 方法1：直接设置固定延迟（毫秒）
const pageres = new Pageres({ delay: 5000 });

// 方法2：等待网络完全空闲（500ms内没有新请求）
const pageres = new Pageres({
  beforeScreenshot: async (page) => {
    await page.waitForLoadState('networkidle');
  }
});

4. 保持会话状态，避免重复登录 #

Pageres默认每次运行都是全新的浏览器上下文，之前的登录Cookie会丢失。可以保存和复用Cookie：

const fs = require('fs');
const pageres = new Pageres({
  launchOptions: { headless: 'new' }
});

// 加载之前保存的Cookie（如果存在）
const cookiePath = './cookies.json';
if (fs.existsSync(cookiePath)) {
  const cookies = JSON.parse(fs.readFileSync(cookiePath));
  await pageres.browser.context().addCookies(cookies);
}

// 执行截图后，保存当前Cookie
await pageres.src('https://目标页面', ['1920x1080']).dest('./screenshots').run();
const cookies = await pageres.browser.context().cookies();
fs.writeFileSync(cookiePath, JSON.stringify(cookies));

5. 排查资源加载限制 #

有些网站会阻止无头浏览器加载特定资源（比如图片、JS），可以尝试关闭请求拦截或者手动允许资源加载：

const pageres = new Pageres({
  beforeScreenshot: async (page) => {
    // 允许所有资源正常加载
    await page.setRequestInterception(false);
    // 如果有特定资源被拦截，也可以针对性放行
    // await page.setRequestInterception(true);
    // page.on('request', (req) => {
    //   if (['image', 'script'].includes(req.resourceType())) {
    //     req.continue();
    //   } else {
    //     req.continue();
    //   }
    // });
  }
});

内容的提问来源于stack exchange，提问作者Jack Marchetti