Sparklyr连接多Databricks Notebook时第二次连接报Credential Scope缺失错误

以下是针对该问题的排查与解决步骤：

• 确认集群关联一致性
  检查第二个Notebook是否和第一个使用的是同一个重启后的集群。若误连到未配置Unity Catalog的集群，会触发该错误。

• 显式指定Unity Catalog上下文
  在copy_to操作前切换到有权限的Catalog和Schema，或直接在copy_to中指定：

  library(sparklyr)
  sc <- sparklyr::spark_connect(method="databricks")
  
  # 先切换到目标Catalog和Schema
  sparklyr::sql(sc, "USE CATALOG your_catalog_name; USE SCHEMA your_schema_name;")
  
  # 或在copy_to时直接指定上下文
  iris_tbl <- copy_to(sc, iris, catalog = "your_catalog_name", schema = "your_schema_name")
  

• 检查执行身份权限
  确认第二个Notebook的执行用户拥有目标Unity Catalog/Schema的读写权限，以及访问Credential Scope的权限。权限不足时需联系管理员配置。

• 显式配置Credential Scope参数
  如果集群依赖特定Credential Scope，可在spark_connect时添加配置：

  sc <- sparklyr::spark_connect(
    method = "databricks",
    config = list(
      spark.databricks.unity.catalog.enabled = "true",
      spark.databricks.credential.scope = "your_credential_scope_name"
    )
  )
  iris_tbl <- copy_to(sc, iris)
  

• 重置Notebook会话
  尝试重启第二个Notebook的执行会话（重新运行所有单元格），避免会话上下文残留导致的配置异常。

内容的提问来源于stack exchange，提问作者ran