如何用Python+Selenium完整截取Amazon商品详情div#aplus？

问题分析 #

• 不启用无头模式时，截图被裁剪是因为元素未完全进入视口，或者窗口尺寸设置未匹配元素实际渲染大小。
• 启用无头模式后无图片，是因为Chrome无头模式默认禁用图片加载，导致渲染时缺失图片资源。

解决方案 #

1. 配置无头模式加载图片 #

修改ChromeOptions，开启图片加载并禁用GPU加速，避免无头模式下的渲染异常：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time

options = Options()
options.headless = True
# 允许加载图片
options.add_argument("--enable-images")
# 禁用GPU加速，解决无头模式渲染bug
options.add_argument("--disable-gpu")
# 设置初始窗口尺寸，适配亚马逊页面布局
options.add_argument("--window-size=1920,1080")

driver = webdriver.Chrome(options=options)
URL = "https://www.amazon.co.jp/-/en/Figuarts-Dragon-Saiyan-Approx-Painted/dp/B08S7KVHMP/ref=sr_1_1?crid=3O3TF6V9FJHS5&currency=JPY&keywords=b08s7kvhmp&qid=1668143838&qu=eyJxc2MiOiIwLjAwIiwicXNhIjoiMC4wMCIsInFzcCI6IjAuMDAifQ%3D%3D&sprefix=%2Caps%2C140&sr=8-1"
driver.get(URL)

2. 用显式等待确保元素加载 #

替换固定time.sleep，通过显式等待确认aplus元素完全加载，提升代码稳定性：

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 最长等待10秒，直到aplus元素出现
aplus_div = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.ID, "aplus"))
)

# 滚动到元素顶部，确保元素完全进入视口
driver.execute_script("arguments[0].scrollIntoView(true);", aplus_div)
# 等待滚动和动态内容渲染完成
time.sleep(2)

3. 适配元素尺寸后截图 #

通过JS获取元素的实际宽高，调整窗口大小后再截取完整元素：

# 获取aplus元素的实际滚动宽高（包含未显示部分）
element_width = driver.execute_script("return arguments[0].scrollWidth;", aplus_div)
element_height = driver.execute_script("return arguments[0].scrollHeight;", aplus_div)

# 调整窗口尺寸以匹配元素大小
driver.set_window_size(element_width, element_height)
# 等待窗口调整后的渲染
time.sleep(1)

# 截取完整元素
aplus_div.screenshot("amazon_aplus_full.png")

driver.quit()

完整整合代码 #

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time

options = Options()
options.headless = True
options.add_argument("--enable-images")
options.add_argument("--disable-gpu")
options.add_argument("--window-size=1920,1080")
# 模拟真实浏览器UA，避免反爬拦截
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36")

driver = webdriver.Chrome(options=options)
URL = "https://www.amazon.co.jp/-/en/Figuarts-Dragon-Saiyan-Approx-Painted/dp/B08S7KVHMP/ref=sr_1_1?crid=3O3TF6V9FJHS5&currency=JPY&keywords=b08s7kvhmp&qid=1668143838&qu=eyJxc2MiOiIwLjAwIiwicXNhIjoiMC4wMCIsInFzcCI6IjAuMDAifQ%3D%3D&sprefix=%2Caps%2C140&sr=8-1"
driver.get(URL)

try:
    aplus_div = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.ID, "aplus"))
    )
    
    driver.execute_script("arguments[0].scrollIntoView(true);", aplus_div)
    time.sleep(2)
    
    element_width = driver.execute_script("return arguments[0].scrollWidth;", aplus_div)
    element_height = driver.execute_script("return arguments[0].scrollHeight;", aplus_div)
    
    driver.set_window_size(element_width, element_height)
    time.sleep(1)
    
    aplus_div.screenshot("amazon_aplus_full.png")
finally:
    driver.quit()

额外注意事项 #

• 若遇到元素高度仍不准确，可增加滚动后的等待时间，因为亚马逊部分图片是懒加载，需要时间加载完成。
• 部分亚马逊页面可能有动态加载的内容，可尝试在滚动后再执行一次元素高度获取，确保尺寸准确。

内容的提问来源于stack exchange，提问作者maz32