在Databricks中构建Scala公共库并实现跨笔记本调用的方法咨询

1 封装通用函数 #

新建Scala类型的helperfunctions笔记本（Databricks平台会自动识别语言，无需手动添加.scala后缀），在笔记本中定义单例对象封装所有工具函数，示例代码如下：

object helperfunctions {
  // 自定义URL解析函数
  def ParseUrl(url: String, targetParam: String): Option[String] = {
    // 此处补充你的业务实现逻辑
  }

  // 自定义URL请求函数
  def GetUrl(url: String, timeoutMs: Int = 3000): String = {
    // 此处补充你的业务实现逻辑
  }
}

写完后运行一次该笔记本，完成单例对象的定义注册。

2 部署到集群的两种可选方案 #

方案A：轻量笔记本模块复用（无需编译，适合快速迭代的工具函数） #

• 将封装好的helperfunctions笔记本存放到工作区公共目录（例如/Shared/CommonLibs/路径下），给所有需要使用的用户开通该路径的只读权限，避免公共代码被误修改
• 无需额外部署操作，集群正常运行即可直接调用

方案B：编译为JAR包全局挂载（性能更高，适合稳定版本的公共库） #

• 本地通过sbt/maven将Scala代码编译为与目标Databricks集群Scala大版本匹配的JAR包（例如集群使用Scala 2.12版本，就必须编译2.12版本的JAR，否则会出现兼容性报错）
• 上传JAR包到DBFS或者工作区文件路径，进入集群配置页的「Libraries」标签页，添加该JAR包作为集群依赖，重启集群后全局生效

3 其他笔记本调用方式 #

注：你提到的import from helperfunctions as fn是Python语法，Scala没有完全一致的语法，可通过下方等效方式实现别名调用

• 方案A调用步骤：
  1. 在调用笔记本的首个单元格执行%run /Shared/CommonLibs/helperfunctions，完成模块引入
  2. 导入工具对象并设置别名：val fn = helperfunctions，之后直接调用fn.ParseUrl("xxx")、fn.GetUrl("xxx")即可
• 方案B调用步骤：
  无需执行%run命令，直接在笔记本开头写val fn = helperfunctions，即可直接调用对应函数

注意事项 #

• 采用方案A时，如果修改了helperfunctions笔记本的代码，需要重新运行该笔记本，再重新运行调用侧的%run单元格，才能生效
• 采用方案B时，如果更新了JAR包版本，需要重启挂载该JAR的集群才能生效

• 笔记本模块化引用能力：原生支持%run命令引用同工作区下的其他笔记本，被引用笔记本中定义的对象、函数、变量都可在当前笔记本上下文直接生效，适合小体量工具函数的快速复用
• 集群库管理能力：支持JAR、Python Wheel、R包等多种类型自定义库的全局挂载，挂载后集群上所有运行的笔记本、定时作业都可以直接调用，不需要重复导入
• 细粒度权限管控能力：公共目录、JAR包资源都支持设置只读、编辑、管理等不同维度的权限，可精准控制公共库的访问、修改权限
• 版本溯源能力：笔记本自带版本历史记录，结合Databricks Repos功能还可以将公共库代码和Git仓库绑定，实现公共库的版本迭代、回滚、分支管理
• 跨环境复用能力：打包好的JAR包可以在不同集群、不同工作区之间迁移，也可以直接作为作业的依赖使用，不需要重复开发

内容的提问来源于stack exchange，提问作者kris