Scrapy无法提取产品图片求助：目标元素为img.fotorama__img

核心原因：图片为JavaScript动态加载 #

你遇到的问题是因为目标页面的fotorama__img图片通过JavaScript动态渲染——Scrapy默认抓取的是服务器返回的初始HTML源码，此时图片的src属性可能尚未被JS填充，甚至初始HTML里该元素的src为空，实际图片链接可能存放在data-src这类自定义属性中。

具体排查与解决步骤 #

1. 检查初始HTML的元素属性
   用Scrapy的view(response)命令打开抓取到的页面源码，查看img.fotorama__img的实际属性。大概率你会发现图片链接存放在data-src而非src里，修改选择器即可：

   # 提取data-src属性
   response.css('img.fotorama__img::attr(data-src)').extract()
   

2. 处理JS动态生成的元素
   如果初始HTML里完全没有img.fotorama__img元素，说明是JS动态生成的，需要使用支持JS渲染的工具：

   • 集成scrapy-splash（基于Splash渲染服务）
   • 集成scrapy-playwright（基于Playwright浏览器）
     这类工具会模拟浏览器执行JS，获取完全渲染后的页面内容，之后用你原来的选择器就能提取到图片链接。

3. 高效提取：解析页面内嵌的图片数据
   很多电商网站会把图片数据以JSON格式内嵌在页面的<script>标签里，直接提取解析这类数据更高效：

   import json
   # 定位包含图片数据的script标签
   script_content = response.css('script:contains("productGallery")::text').get()
   # 提取并解析JSON部分（需根据实际script内容调整处理逻辑）
   raw_data = script_content.split('=')[1].strip(';')
   gallery_data = json.loads(raw_data)
   image_urls = [item['src'] for item in gallery_data['images']]
   

内容的提问来源于stack exchange，提问作者Legion