如何查找Databricks集群中已安装库的安装时间戳

Databricks没有在集群库管理UI默认展示库的安装时间字段，可通过以下3种有效路径查询对应信息：

• 集群事件日志检索
  所有通过UI手动安装、API触发安装、作业/集群全局依赖配置触发的库安装操作，都会被记录在集群事件流中。进入目标集群的详情页，打开「事件日志」板块，筛选事件类型为INSTALL_LIBRARY，每条匹配事件都会附带精确到秒的操作时间戳、操作主体、安装的库名与版本信息。该方法仅能查询集群日志留存周期内的记录，长期运行集群如果历史事件被轮转覆盖，早期安装记录无法通过该路径找回。
• 驱动节点pip日志查询（仅适用于Python库）
  直接在集群驱动节点挂载的Notebook中运行如下Shell命令，读取pip操作日志，日志会完整记录每一次pip安装操作的执行时间、安装包与版本结果：

  %sh
  grep -E "Installing|Successfully installed" /var/log/pip/pip.log
  

  若当前日志文件因轮转被压缩归档，可检索/var/log/pip/路径下的pip.log.*归档文件，解压后匹配关键字即可。
• 节点本地库文件元数据查询
  安装完成的库会以文件形式存储在集群节点的固定目录下，可通过查询文件创建时间匹配安装完成时间：
  • Python库：运行如下命令查看站点包目录下各包目录的创建时间，默认按时间倒序排列

    %sh
    ls -lt --time-style=long-iso /databricks/python3/lib/python3.*/site-packages/
    

  • JVM/Scala类Jar包：查询/databricks/jars/路径下对应Jar文件的创建时间即可

注意：Notebook会话级通过%pip install安装的临时库仅在当前会话生效，安装记录仅存在于当前会话的pip日志中，集群重启后临时库和对应安装记录都会被清除；通过init脚本安装的库，查询到的时间与init脚本的执行时间完全对齐。

内容的提问来源于stack exchange，提问作者MJ029