如何在两个不同的Spark会话中使用同一张表？

核心结论 #

完全可以实现。两个独立的Spark会话属于相互隔离的运行时环境，只要二者均具备同一张表底层存储资源的访问权限，就可以各自独立创建对应的DataFrame，默认不会互相冲突。

具体实现方法 #

场景1：表由Spark Metastore/Hive Metastore托管 #

如果该表已经在metastore中完成注册，只需要保证两个Spark会话都配置了相同的metastore连接信息（比如加载同一份hive-site.xml配置文件），分别在两个会话中执行读表语句即可：

// Scala 示例
val tableDf = spark.read.table("db_name.table_name")

# PySpark 示例
table_df = spark.read.table("db_name.table_name")

如果其中一个会话对表执行了写入修改，另一个会话需要读取最新数据时，手动刷新元数据即可：
spark.catalog.refreshTable("db_name.table_name")

场景2：表为独立存储的文件集（Parquet/ORC/CSV等格式） #

如果表未托管在metastore，只要两个会话都拥有该文件存储路径的读取权限，直接通过路径读取即可：

// Scala 示例
val fileDf = spark.read.format("parquet").load("hdfs://your_file_path")

# PySpark 示例
file_df = spark.read.format("parquet").load("hdfs://your_file_path")

注意事项 #

• 两个会话创建的DataFrame是完全独立的对象，各自的转换、缓存、Action操作都不会影响另一个会话中的DataFrame
• 如果存在多会话同时写同一张表的需求，需要自行做好事务管控，避免出现数据覆盖、脏写问题
• 本地模式启动的两个独立Spark进程也适用上述方案，只要双方都能访问到表对应的本地存储路径/metastore服务即可

内容的提问来源于stack exchange，提问作者N_A