Databricks是否提供类似Oracle dblink的功能？Spark SQL能否跨库关联数据集？

Spark SQL本身没有Oracle dblink那种直接在SQL里用@链接远程表的语法，但可以通过以下几种方式实现本地与远程数据集的关联：

• 加载远程表为临时视图关联
  既然你已经能通过JDBC把Oracle数据加载到DataFrame，只需要把远程表加载后注册成临时视图，就能和本地表（同样注册为临时视图）在Spark SQL里直接关联。示例代码：

  // 加载远程Oracle表
  val remoteDF = spark.read.format("jdbc")
    .option("url", "jdbc:oracle:thin:@remote-server:1521:ORCL")
    .option("dbtable", "remoteTable")
    .option("user", "username")
    .option("password", "password")
    .load()
  
  // 注册为临时视图
  remoteDF.createOrReplaceTempView("remoteTable")
  
  // 直接写关联SQL（假设本地表已注册为localTable视图）
  val resultDF = spark.sql("""
      select
          lt.field1,
          rt.field2
      from localTable lt
      join remoteTable rt
          on rt.id = lt.id
  """)
  

• SQL内直接嵌入JDBC数据源关联
  如果本地数据是Spark支持的数据源（比如Hive、Parquet），可以直接在SQL里通过子查询指定JDBC参数来关联远程表，示例：

  select
      lt.field1,
      rt.field2
  from localTable lt
  join (
      select * from jdbc.`jdbc:oracle:thin:@remote-server:1521:ORCL`
      options(
          dbtable 'remoteTable',
          user 'username',
          password 'password'
      )
  ) rt on rt.id = lt.id
  

  注意：要确保Spark集群能访问到Oracle JDBC驱动包，参数配置也要准确。

• 创建持久化外部表关联（Spark 3.0+）
  可以在Spark中创建指向远程Oracle表的外部表，之后用起来就和本地表一样，直接关联即可：

  CREATE TABLE remoteTable
  USING jdbc
  OPTIONS (
      url "jdbc:oracle:thin:@remote-server:1521:ORCL",
      dbtable "remoteTable",
      user "username",
      password "password"
  )
  

  创建完成后，你就能像写本地表关联一样，直接用remoteTable和localTable写SQL，逻辑和你示例里的写法一致，只是不需要@符号。

内容的提问来源于stack exchange，提问作者Kaniz Fatma