使用PyQt5抓取IMDb网页图片的技术求助（含JS处理代码）

嘿，我看你在尝试用PyQt5处理IMDb的动态渲染页面来抓取图片，但代码写到一半卡住了对吧？别担心，我帮你把完整的实现补全，还会把关键步骤讲清楚，这样你就能顺利拿到目标页面里的图片了。

首先，你之前的代码问题在于没完成HTML内容的获取逻辑——PyQt5的QWebEnginePage需要通过信号绑定来捕获页面加载完成后的渲染内容，直接赋值self.html是行不通的。下面是完整的可运行代码，我加了详细注释：

import bs4 as bs
import sys
from PyQt5.QtWebEngineWidgets import QWebEnginePage
from PyQt5.QtWidgets import QApplication
from PyQt5.QtCore import QUrl

class Page(QWebEnginePage):
    def __init__(self, url):
        self.app = QApplication(sys.argv)
        QWebEnginePage.__init__(self)
        self.html = ""
        # 绑定页面加载完成的信号，触发后获取渲染后的HTML
        self.loadFinished.connect(self._on_load_finished)
        # 加载目标IMDb链接
        self.load(QUrl(url))
        # 启动Qt的事件循环，等待页面加载完成
        self.app.exec_()

    def _on_load_finished(self):
        # 调用toHtml方法获取页面内容，回调函数接收HTML字符串
        self.toHtml(self._set_html)

    def _set_html(self, html_content):
        # 把获取到的HTML存到实例变量里
        self.html = html_content
        # 拿到内容后就退出Qt应用
        self.app.quit()

def scrape_imdb_images(imdb_url):
    # 初始化页面，获取渲染后的完整HTML
    page = Page(imdb_url)
    # 用BeautifulSoup解析HTML
    soup = bs.BeautifulSoup(page.html, 'html.parser')

    # 这里要根据IMDb的页面结构调整选择器，我举的是通用例子
    # 比如抓取页面里所有带ipc-image类的图片（IMDb常用这个类名做图片容器）
    image_tags = soup.find_all('img', class_='ipc-image')
    image_urls = []
    for img in image_tags:
        # IMDb的图片链接可能在src或者data-src属性里（动态加载的图常用data-src）
        img_url = img.get('src') or img.get('data-src')
        if img_url:
            # 可选：如果想拿高清图，可以修改URL里的参数，比如把缩略图参数替换成高清的
            # 举个例子：img_url = img_url.replace("._V1_UX67_CR0,0,67,98_AL_", "._V1_UY1000_CR0,0,674,1000_AL_")
            image_urls.append(img_url)
    
    return image_urls

# 测试一下，比如抓取盗梦空间的IMDb页面图片
if __name__ == "__main__":
    imdb_link = "https://www.imdb.com/title/tt1375666/"
    images = scrape_imdb_images(imdb_link)
    print("抓到的图片链接：")
    for idx, url in enumerate(images):
        print(f"{idx+1}. {url}")

几个关键注意点： #

• 依赖安装：先确保装了必要的包，运行pip install beautifulsoup4 pyqt5就行
• 页面结构变化：IMDb偶尔会更新页面类名，要是抓不到图，打开浏览器开发者工具检查一下图片标签的实际类名或属性，调整find_all的参数
• 反爬提醒：IMDb有反爬机制，别频繁请求，最好加个延迟（比如用time.sleep()），或者用代理IP分散请求
• 高清图处理：很多图片是缩略图，你可以观察URL里的参数规律，替换成高清版本的参数，就能拿到更大的图

内容的提问来源于stack exchange，提问作者Ullas Pv