如何让代码在窗口滚动到页面底部后再执行？Facebook爬虫场景

这问题我之前帮朋友处理过类似的，核心就是要精准判断什么时候停止滚动——当滚动到底部后页面高度不再变化，说明没有更多成员数据加载了，这时再触发你的采集逻辑就刚刚好。具体实现方案如下：

步骤1：定义关键跟踪变量 #

先声明几个变量，用来记录页面高度变化、滚动定时器和无变化次数，方便后续逻辑判断：

let prevHeight = 0; // 记录上一次滚动前的页面总高度
let scrollInterval; // 保存滚动定时器ID，方便后续停止滚动
let noChangeCount = 0; // 记录连续几次滚动后高度没变化
const maxNoChange = 2; // 允许的最大无变化次数，可根据加载速度调整

步骤2：替换固定滚动逻辑，加入加载判断 #

把你原来的setInterval换成带检查逻辑的滚动函数，每次滚动后等待内容加载，再对比页面高度是否更新：

function autoScrollAndCheck() {
    // 滚动前先记录当前页面高度
    prevHeight = $(document).height();
    // 滚动到页面最底部
    $(document).scrollTop(prevHeight);
    
    // 延迟一段时间（给Facebook加载新成员的时间）后检查高度变化
    setTimeout(() => {
        const currentHeight = $(document).height();
        
        if (currentHeight === prevHeight) {
            // 高度没变化，说明这次滚动没加载到新内容
            noChangeCount++;
            if (noChangeCount >= maxNoChange) {
                // 连续多次没变化，判定已经到最后一页
                clearInterval(scrollInterval);
                console.log("已滚动到最后一页，开始采集成员信息");
                // 执行你的采集代码
                collectMemberInfo();
            }
        } else {
            // 高度有变化，说明加载了新内容，重置无变化次数
            noChangeCount = 0;
        }
    }, 1500); // 延迟时间可根据实际加载速度调整，建议1000-2000ms
}

// 启动滚动循环，间隔时间要比内部延迟长一点，避免重复滚动
scrollInterval = setInterval(autoScrollAndCheck, 2000);

步骤3：封装你的采集代码 #

把原来的成员信息采集逻辑封装成独立函数，方便在加载完成后调用：

function collectMemberInfo() {
    var main = [];
    $('#groupsMemberSection_self_bio').find('.uiList').each(function(){
        $(this).find('._6a').each(function(){
            $(this).find('div._6a:last').each(function(){
                var href = $(this).find('a').attr('href');
                var name = $(this).find('a').text();
                // 这里补充你原来的采集逻辑，比如把信息存入数组
                main.push({ memberName: name, profileLink: href });
            });
        });
    });
    // 采集完成后的操作，比如打印结果或导出
    console.log("采集完成，共获取", main.length, "条成员信息");
    console.log(main);
}

几个实用注意点 #

• 延迟时间和滚动间隔要根据实际情况调整：如果Facebook加载慢，就把延迟调长一点，避免误判为加载完成。
• Facebook的页面结构可能会随时更新，要是发现采集不到数据，记得检查._6a、.uiList这些选择器是否还生效。
• 频繁滚动可能触发反爬机制，建议适当延长滚动间隔，或者加入随机延迟（比如Math.random() * 1000 + 1500）降低风险。

内容的提问来源于stack exchange，提问作者Rahul shukla