Azure HDInsight集群安装pyodbc遇RdfeResourceHandlerException问题求助

我明白你现在在HDInsight上为PySpark安装pyodbc时遇到的困境——网页端脚本操作被锁定，CLI提交又抛出RdfeResourceHandlerException异常，确实挺闹心的。下面给你几个针对性的解决方案：

一、先排查网页端脚本操作禁用的原因 #

网页提示“当前...完成后可提交新脚本操作”，通常是因为集群正处于运行作业、维护更新或其他占用状态。你可以先到Azure门户的集群概览页，检查集群状态是否为「运行中（Running）」，同时查看“作业”标签页有没有正在执行的长时间任务。如果是这种情况，等任务完成后再尝试提交脚本操作即可。

二、修复Azure CLI的RdfeResourceHandlerException异常 #

这个报错大多和CLI版本兼容性或命令格式错误有关，按以下步骤处理：

1. 更新Azure CLI到最新版本
   旧版本CLI可能和HDInsight的API不兼容，执行以下命令更新：

   az upgrade
   

2. 使用正确的脚本操作命令格式
   你之前的错误可能是直接内嵌脚本内容，而CLI要求脚本必须存储在可访问的URI（比如Azure Blob存储）中。步骤如下：
   • 把你的bash脚本保存为install-pyodbc.sh，内容如下：

     #!/usr/bin/env bash
     sudo /usr/bin/anaconda/bin/conda install -y pyodbc
     

   • 将脚本上传到Azure Blob存储容器，获取带有SAS权限的访问URI（确保集群能访问这个URI）
   • 执行正确的CLI命令：

     az hdinsight script-action execute \
       --cluster-name <你的集群名称> \
       --resource-group <你的资源组名称> \
       --name "Install-PyODBC" \
       --script-uri "<Blob存储中的脚本URI>" \
       --roles headnode workernode
     

   注意：--roles参数要指定所有需要安装pyodbc的节点类型，PySpark任务会在head和worker节点都运行，所以两者都要包含。

三、替代方案：手动登录节点安装 #

如果上述方法都暂时无法生效，你可以直接SSH登录到集群节点手动安装，确保所有节点都部署pyodbc：

1. 通过Azure门户或SSH命令登录到head node和每个worker node
2. 执行安装命令（加上-y自动确认，避免交互等待）：

   sudo /usr/bin/anaconda/bin/conda install -y pyodbc
   

   若不确定conda路径，可以先执行which conda查看实际路径，替换命令中的路径即可。

四、额外注意事项 #

• 安装完成后，建议重启一下Spark服务，确保pyodbc能被PySpark正确加载
• 如果conda安装失败，可以尝试用pip安装（注意指定Anaconda的pip路径）：

  sudo /usr/bin/anaconda/bin/pip install pyodbc
  

内容的提问来源于stack exchange，提问作者Megamini