如何使用Python从IMDb网站爬取电影的制片公司名称？

代码存在的问题 #

• 变量名调用错误：你定义的HTTP响应对象名为movie_page，但传入BeautifulSoup解析的是不存在的page变量，直接运行会抛出NameError
• 缺失请求头触发反爬：IMDb会拦截无合法User-Agent的请求，你直接发送请求返回的是反爬拦截页面，不存在目标DOM结构
• 未提取标签文本：find_all返回的是a标签对象列表，需要逐个提取标签内的文本才能得到公司名称
• （可选优化问题）全局匹配类名容易误抓：直接全局查找对应类名的a标签，可能会匹配到页面其他区域同样式的无关链接，匹配精度低

修正后可运行代码 #

import requests
from bs4 import BeautifulSoup

movie_url = "https://www.imdb.com/title/tt0473553/?ref_=fn_al_tt_1"
# 配置请求头伪装浏览器，绕过基础反爬
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36"
}
movie_page = requests.get(movie_url, headers=headers)
# 修正变量名错误
soup = BeautifulSoup(movie_page.text, 'html.parser')

# 先通过唯一的data-testid定位到制片公司模块，避免误抓其他内容
company_section = soup.find("li", {"data-testid": "title-details-companies"})
company_tags = company_section.find_all("a", class_="ipc-metadata-list-item__list-content-item ipc-metadata-list-item__list-content-item--link")
# 提取标签文本组成结果列表
result = [tag.get_text(strip=True) for tag in company_tags]

print(result)

运行后输出：

['IDT Entertainment', 'New Arc Entertainment']

内容的提问来源于stack exchange，提问作者Rishabh Shinde