如何使用Python无需打开页面即可判断Facebook页面是否存在有效内容

页面有效性判断方法 #

完全不发起网络请求无法校验远端页面状态，但可以通过轻量请求实现不加载、不渲染完整页面的效果，资源消耗极低，和“不打开链接”的使用体验一致：

1. 优先使用带stream=True参数的GET请求，仅拉取响应头和前1KB的页面内容，无需下载完整页面
2. 先通过响应状态码初步判断：无效fbid对应的页面通常返回404状态码，可直接判定为无效
3. 对返回200状态码的响应，读取前1KB内容匹配无效页特征即可完成校验，无需解析全页

校验代码示例 #

import requests

def check_fb_photo_valid(fbid):
    url = f'https://www.facebook.com/photo/?fbid={fbid}'
    # 模拟浏览器请求头，避免被反爬拦截
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
    }
    # 开启stream模式，不自动下载完整响应体
    resp = requests.get(url, headers=headers, stream=True, timeout=10)
    # 404直接判定无效
    if resp.status_code == 404:
        resp.close()
        return False
    # 读取前1024字节内容匹配无效特征，可根据实际返回的无效页内容调整关键词
    preview = resp.iter_content(chunk_size=1024).__next__().decode('utf-8', errors='ignore')
    resp.close()
    invalid_keywords = ["This content isn't available", "这条内容不存在", "Content Not Found"]
    for kw in invalid_keywords:
        if kw in preview:
            return False
    return True

图片提取代码优化 #

你现有的BeautifulSoup代码会提取页面所有图片，包括头像、图标等无关内容，可增加过滤规则提取目标照片链接：

import requests
from bs4 import BeautifulSoup

def get_fb_photo_links(fbid):
    url = f'https://www.facebook.com/photo/?fbid={fbid}'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
    }
    resp = requests.get(url, headers=headers, timeout=10)
    if resp.status_code != 200:
        return []
    soup = BeautifulSoup(resp.text, 'html.parser')
    valid_imgs = []
    for img_tag in soup.find_all('img'):
        src = img_tag.get('src')
        # 过滤Facebook CDN存储的照片资源，排除无关小图
        if src and 'fbcdn.net' in src and 'photo' in src:
            valid_imgs.append(src)
    return valid_imgs

注意事项 #

• 请求频率不要过高，建议每次请求间隔1~3秒，避免触发反爬机制被封IP
• 未登录Facebook账号时，非公开内容也会返回无效提示，上述校验逻辑可正常识别这类情况
• 大量请求时建议搭配代理池使用，提升稳定性

内容的提问来源于stack exchange，提问作者LostProto