ApacheSpark：广播连接行为：过滤连接表和临时表。

在使用广播连接时，可以通过在连接语句中使用where子句进行表过滤。这样可以避免将不必要的数据广播到所有节点上，从而提高连接性能。以下是示例代码：

val smallTable = Seq((1, "one"), (2, "two"), (3, "three")).toDF("id", "desc") val bigTable = Seq((1, 100), (2, 200), (3, 300), (4, 400), (5, 500)).toDF("id", "value") val broadcastSmallTable = spark.sparkContext.broadcast(smallTable)

val joinedTable = bigTable.join(broadcastSmallTable.value, Seq("id"), "inner").where("value > 200")

joinedTable.show()

在上述代码中，smallTable是一个小表，bigTable是一个大表。我们将smallTable广播到所有节点上，然后使用join连接大表和小表。在连接语句中使用where子句过滤连接后的表，只保留value列大于200的行。这样，我们可以避免将所有数据广播到所有节点上，并且只连接需要的数据，从而提高了连接性能。