Databricks跨Notebook获取查询及调用指定单元格问题咨询

问题1：跨Notebook传递查询语句到函数 #

你遇到的问题大概率是变量作用域或传递方式的问题，按下面的步骤来就能解决：

• 在Notebook1里，把查询语句明确赋值为全局变量，不要只写裸查询。比如：

  # Notebook1 内容
  my_query = "SELECT col1, col2 FROM your_table WHERE condition = true"
  

• 在Notebook2里，先用%run执行Notebook1，之后直接在函数里使用这个变量：

  # Notebook2 内容
  %run /path/to/Notebook1
  
  def process_data():
      df = spark.sql(my_query)
      # 后续处理逻辑
  
  process_data()
  

如果之前这么做没生效，检查这几点：

• 确认%run的路径是对的（Databricks里路径要写全，比如/Workspace/xxx/Notebook1）
• Notebook1里的变量没有被后续单元格的代码覆盖
• 不要尝试把%run的结果直接当参数传，%run是执行整个Notebook，变量会直接加载到当前会话

问题2：调用Notebook中的特定单元格 #

Databricks原生的%run命令是执行整个Notebook，没有直接调用单个单元格的功能。解决办法是把需要单独调用的逻辑封装起来：

• 把目标单元格的内容改成函数或变量，比如在目标Notebook里：

  # 目标Notebook的目标单元格
  def run_specific_query():
      return spark.sql("SELECT * FROM specific_table")
  

• 调用方Notebook用%run执行整个目标Notebook后，直接调用对应的函数：

  %run /path/to/TargetNotebook
  specific_df = run_specific_query()
  

如果不想执行目标Notebook的其他代码，建议把需要单独调用的逻辑拆成一个独立的小Notebook，这样用%run直接调用这个小Notebook就行，更干净。

内容的提问来源于stack exchange，提问作者Tiago