Playwright同步脚本遍历Vitacost页面时最后一页触发domcontentloaded错误

核心问题原因 #

• DOM加载时机不匹配：Vitacost部分页面的商品状态文本是异步加载的，domcontentloaded事件触发时，目标内容还没渲染完成。最后一次循环时可能页面加载的时序冲突更明显，导致page.content()拿不到完整内容。
• Pandas行修改无效：你直接修改row["status"]不会同步到原DataFrame，因为iterrows()返回的是行副本，这是容易忽略的细节。
• 页面复用的残留冲突：循环复用同一个page对象时，前一页的资源可能没完全清理，最后一次跳转时容易出现加载异常。

修复方案 #

1. 调整等待策略，确保内容加载完成 #

放弃依赖domcontentloaded，改用更稳妥的等待方式：

# 等待所有资源加载完成
page.goto(row["URL"], wait_until='load')
# 或者等待网络 idle（无请求），确保动态内容加载完毕
page.wait_for_load_state("networkidle")

2. 正确修改DataFrame状态值 #

用df.loc[index, "status"]替代直接修改row，保证修改能同步到原数据：

if "no longer available" in page.content():
    df.loc[index, "status"] = "discontinued"
else:
    df.loc[index, "status"] = "available"

3. 精准检测目标文本（推荐） #

直接用Playwright的文本定位器，它会自动等待元素出现，比读取整个页面内容更高效准确：

try:
    # 等待目标文本出现，超时设为5秒
    page.get_by_text("no longer available", exact=False).wait_for(timeout=5000)
    df.loc[index, "status"] = "discontinued"
except:
    df.loc[index, "status"] = "available"

4. 避免页面复用冲突（可选） #

如果复用页面仍有问题，每次循环新建页面可以彻底避免状态残留：

with sync_playwright() as p:
    browser = p.chromium.launch(headless=False)
    for index, row in df.iterrows():
        page = browser.new_page()
        page.goto(row["URL"], wait_until='networkidle')
        # 这里放检测逻辑
        page.close()
    browser.close()

完整修复代码 #

import pandas as pd
from playwright.sync_api import sync_playwright

df = pd.DataFrame(data={
    "URL": [
        "https://www.vitacost.com/productsearch.aspx?rid=1003010.01&enteredSku=81080020923",
        "https://www.vitacost.com/vitacost-dhea-hormone-complex",
        "https://www.vitacost.com/vitacost-dhea-25-mg-100-capsules"
    ],
    "status": ["", "", ""]
})

with sync_playwright() as p:
    browser = p.chromium.launch(headless=False)
    page = browser.new_page()
    for index, row in df.iterrows():
        page.goto(row["URL"], wait_until='networkidle')
        try:
            page.get_by_text("no longer available", exact=False).wait_for(timeout=5000)
            df.loc[index, "status"] = "discontinued"
        except:
            df.loc[index, "status"] = "available"
    browser.close()

# 查看结果
print(df)

内容的提问来源于stack exchange，提问作者The Ratman