如何查看Databricks环境中已安装上传的库的源代码

以下步骤同时适配自研私有库和公共已安装库的源码查询需求：

方法1：在Notebook中直接查询（无需额外权限，操作便捷） #

• 打开绑定了安装目标库集群的Notebook，选择和目标库匹配的内核（比如Python库选择Python内核，Scala库选择Scala内核）
• 第一步先查询库的实际安装路径，以最常见的Python私有库为例，执行如下代码：

import 你的私有库名称
print(你的私有库名称.__file__)

• 拿到返回的安装路径后，用%sh魔术命令即可直接读取对应源码内容，示例：

# 读取单个源码文件
%sh cat 上一步返回的路径/xxx.py
# 遍历库目录下所有源码文件
%sh ls -la 上一步返回的路径父目录

• 如果你司上传私有库时将原始源码包存在了DBFS指定目录，可直接通过dbutils.fs.ls("DBFS路径")命令遍历找到对应包，下载到本地解压审核即可。

方法2：通过集群SSH登录查看（适合批量审核大量源码的场景） #

• 进入Databricks工作区「计算」板块，找到安装了目标私有库的集群，进入详情页
• 如有管理员权限，可在集群「高级选项」-「SSH访问」中开启SSH权限，点击详情页的「Web SSH」按钮直接登录驱动节点
• 登录后执行对应语言的库路径查询命令，进入对应目录后可批量导出、查看所有源代码文件。

补充提示 #

• 若你司上传的私有库是编译后的二进制安装包（无源码的whl/egg包），安装后的文件无法反向导出完整可读源码，需找到原始上传的源码包进行审核
• 管理员可直接在工作区「共享库」目录中找到你们上传的私有库原始安装包，下载到本地审核效率更高

内容的提问来源于stack exchange，提问作者Alejandro Montenegro