Databricks环境如何安装/读取供Selenium调用的Firefox二进制文件

核心失败原因 #

两个方案的问题都属于环境适配错误，和Selenium、geckodriver本身无关：

• 在线apt安装失效：Databricks集群默认配置出站网络访问控制，未对公共Ubuntu软件源、Mozilla软件源放通权限，所有公网apt请求都会被直接拦截，无法完成在线安装。
• 本地上传二进制失效：存在两个不可绕过的硬错误：
  • Databricks集群计算节点为Linux x86_64架构，上传Windows平台的firefox.exe属于跨平台二进制，完全无法在Linux环境下执行
  • DBFS的FUSE挂载路径默认不支持可执行权限位，就算上传了正确的Linux版本Firefox，直接放在/dbfs/路径下也会被系统识别为非可执行文件，触发binary is not a Firefox executable报错

离线部署落地步骤（适配网络受限场景） #

全程不需要集群访问公网，所有依赖提前离线准备即可：

1. 提前在可访问公网的本地设备上，下载两个匹配集群环境的离线压缩包：
   • Linux 64位架构的Firefox正式版压缩包（格式为.tar.bz2，不要下载Windows exe安装包）
   • 和Firefox版本匹配的Linux 64位架构geckodriver压缩包（例如下载的Firefox版本≥91，可使用v0.31.0版本geckodriver，版本不匹配会导致启动失败）
2. 将两个压缩包上传到DBFS路径，例如存放到dbfs:/tmp/selenium_deps/目录下
3. 在Databricks Notebook中执行依赖部署，将文件拷贝到节点本地磁盘解压，绕开DBFS的权限限制：
   • 安装Selenium库：

   %pip install selenium
   

   • 执行Shell命令解压二进制并赋予执行权限：

   %sh
   # 部署geckodriver
   cp /dbfs/tmp/selenium_deps/geckodriver-*.tar.gz /tmp/
   tar -xvzf /tmp/geckodriver-*.tar.gz -C /tmp/
   chmod +x /tmp/geckodriver
   
   # 部署Firefox
   cp /dbfs/tmp/selenium_deps/firefox-*.tar.bz2 /tmp/
   tar -xjf /tmp/firefox-*.tar.bz2 -C /tmp/
   chmod +x /tmp/firefox/firefox
   

   注意：必须将可执行文件解压到节点本地磁盘路径（例如/tmp目录），不要直接在/dbfs挂载路径下执行二进制，FUSE层会拦截执行权限。

4. 使用修正后的代码启动Firefox，补充无头环境必要启动参数，适配Databricks无图形界面的运行环境：

   from selenium import webdriver
   from selenium.webdriver.firefox.options import Options
   
   options = Options()
   options.headless = True
   # 补充容器环境必填启动参数，避免启动崩溃
   options.add_argument("--no-sandbox")
   options.add_argument("--disable-dev-shm-usage")
   # 指定本地解压的Firefox二进制路径
   options.binary_location = "/tmp/firefox/firefox"
   
   driver = webdriver.Firefox(
       options=options,
       executable_path="/tmp/geckodriver"
   )
   
   # 连通性测试
   driver.get("https://example.com")
   print("页面标题：", driver.title)
   driver.quit()
   

替代实现路径 #

如果Firefox版本兼容调试成本过高，可以替换为Chromium+ChromeDriver的组合，部署逻辑和上述步骤完全一致：提前下载Linux版本的Chromium和对应版本ChromeDriver离线包上传DBFS，解压到节点本地目录加权限后调用即可。Chromium在无图形界面的Linux容器环境下适配性更好，需要补充的启动参数更少，在Databricks场景下稳定性更高。

内容的提问来源于stack exchange，提问作者shane