如何从不同作业并发运行同一Databricks Notebook？

完全可以实现你的需求，具体方案如下：

• 创建独立作业直接调用
  在Databricks作业界面分别创建两个独立作业（A和B），每个作业的任务类型选择「Notebook任务」，直接指定要运行的Notebook X。同时为每个作业配置独立的集群（可按需选择按需创建集群或固定集群）。

• 参数区分运行实例（可选）
  如果需要区分两次并行运行的输入/输出、避免资源冲突，可以在Notebook X中通过dbutils.widgets定义参数，再在两个作业的任务配置中传入不同参数值。例如：
  在Notebook X中添加参数定义：

  dbutils.widgets.text("run_identifier", "", "运行标识")
  run_id = dbutils.widgets.get("run_identifier")
  

  作业A的参数设置为run_identifier=job_A，作业B设置为run_identifier=job_B，后续在数据读取、写入逻辑中用run_id区分路径或表名，防止并行运行时数据覆盖。

• 触发并行运行
  可以手动同时触发两个作业的运行，也可为两个作业设置完全相同的调度时间，让它们自动并行启动。

• 关键注意事项
  确保Notebook X是无状态的，不要依赖全局共享的可变资源（比如未加锁的共享文件、非分区的数据库表写入等），否则并行运行可能引发数据竞争或异常。如果涉及共享资源，需添加锁机制或通过参数隔离资源访问范围。

内容的提问来源于stack exchange，提问作者Adarsh