使用Firecrawl爬取网页遇循环导入错误：无法导入FirecrawlApp求助

问题描述 #

使用Firecrawl爬取网页时触发循环导入错误，代码及报错信息如下：

代码示例 #

from firecrawl import FirecrawlApp
from openai import OpenAI
from dotenv import load_dotenv
import os
import json
import pandas as pd
from datetime import datetime

def scrape_data(url):
    load_dotenv()
    # 使用API密钥初始化FirecrawlApp
    app = FirecrawlApp(api_key=os.getenv('FIRECRAWL_API_KEY'))
    
    # 爬取单个URL
    scraped_data = app.scrape_url(url, {'pageOptions': {'onlyMainContent': True}})
    
    # 检查爬取数据中是否存在'markdown'键
    if 'markdown' in scraped_data:
        return scraped_data['markdown']
    else:
        raise KeyError("爬取数据中不存在'markdown'键。")

报错信息 #

ImportError: cannot import name 'FirecrawlApp' from partially initialized module 'firecrawl' (most likely due to a circular import)

解决方法 #

• 排查本地命名冲突
  确认项目目录下没有名为firecrawl.py的文件或firecrawl的文件夹，这类命名会和第三方库的模块名冲突，导致Python优先加载本地文件而非安装的官方库。

• 重新安装Firecrawl库
  若库文件损坏或版本异常，执行以下命令重装：

  pip uninstall firecrawl -y
  pip install firecrawl --upgrade
  

• 验证模块导入路径
  在代码开头添加以下代码，查看Firecrawl模块的实际加载路径：

  import firecrawl
  print(firecrawl.__file__)
  

  若输出指向本地项目内的文件，说明存在命名冲突，需重命名本地文件/文件夹。

• 使用虚拟环境隔离依赖
  若项目依赖版本混乱，创建虚拟环境后重新安装Firecrawl：

  # 创建虚拟环境
  python -m venv venv
  # Windows激活虚拟环境
  venv\Scripts\activate
  # Linux/macOS激活虚拟环境
  source venv/bin/activate
  # 安装Firecrawl
  pip install firecrawl
  

内容的提问来源于stack exchange，提问作者Saksham Adhikari