Azure Databricks库安装日志位置及spark-sql_2.11安装失败排查求助

我来帮你一步步解决这两个问题——先讲怎么找库安装日志，再分析安装失败的可能原因：

要定位库安装失败的详细原因，你可以从这几个渠道获取日志：

• 集群内置日志页：
  进入目标集群的详情页面，点击顶部的「Logs」标签，这里能看到Driver和Executor的标准输出（stdout）、标准错误（stderr）日志。库安装的过程记录通常会出现在Driver的日志里，你可以搜索「Installing library」或者具体包名来快速定位相关内容。
  另外，同页面的「Event Log」标签更聚焦事件记录，它会清晰展示库安装的发起、进度和失败原因，里面的错误信息往往更直接易懂。

• Databricks CLI命令查询：
  如果你习惯用命令行操作，可以通过CLI获取集群的事件记录，过滤出库安装相关的详情。执行命令如下：

  databricks clusters get-events --cluster-id <你的集群ID> --event-types LIBRARY_INSTALL
  

你提到这两个包安装失败但avro-tools正常，最核心的原因是：这两个包是Azure Databricks Runtime自带的核心组件，不需要手动安装，强行安装会触发版本冲突。

具体细节：

• Databricks的每个Runtime版本都绑定了固定的Spark版本，比如你选择的Spark 2.4.5对应的Runtime应该是6.1系列（或相近版本），这个Runtime已经内置了spark-sql_2.11:2.4.5和spark-hive_2.11:2.4.5。当你尝试手动安装同名同版本的包时，系统会检测到组件冲突，从而拒绝完成安装。
• 而avro-tools不属于Databricks Runtime的默认内置组件，所以可以正常从Maven仓库安装。

验证和处理建议：

1. 确认集群已自带目标库：在Notebook中运行spark.version，输出的版本应该就是2.4.5，说明你已经拥有这些核心库，无需额外安装。
2. 如果确实需要使用不同版本的spark-sql/spark-hive，建议更换对应的Databricks Runtime版本（比如要Spark 3.x就用Runtime 7.x及以上），不要手动安装冲突包——替换核心组件极易引发兼容性问题，导致集群运行异常。

内容的提问来源于stack exchange，提问作者rainingdistros