Spark on Cassandra 是否支持通过分区键删除数据？

算力阿峰

2026-9-28

实现方案

Spark Cassandra连接器从2.4.0版本开始原生支持按分区键删除整个分区，无需传入完整主键，底层会生成分区级删除语句，只会生成1个分区墓碑，不会为分区内每行生成独立行墓碑，完全满足你的性能需求。

1. RDD API实现

构造只包含分区键列的RDD，调用deleteFromCassandra时通过keyColumns指定仅用分区键作为删除条件：

import com.datastax.spark.connector._

// 示例：要删除分区键a为1、2、3的全部分区
val partitionKeyRdd = sc.parallelize(Seq(1, 2, 3)).map(Tuple1(_))

partitionKeyRdd.deleteFromCassandra(
  keyspace = "你的键空间名",
  table = "你的表名",
  keyColumns = SomeColumns("a") // 仅指定分区键，不需要加聚簇键b
)

2. DataFrame API实现

如果使用DataFrame接口，可通过keyColumns参数指定删除条件列：

import org.apache.spark.sql.cassandra._

// 构造仅包含分区键a的DataFrame
val deleteDf = spark.createDataFrame(Seq(1, 2, 3)).toDF("a")

deleteDf.write
  .cassandraFormat("你的表名", "你的键空间名")
  .option("keyColumns", "a")
  .mode("append")
  .save()

低版本（<2.4.0）备选方案

如果使用的连接器版本不支持keyColumns参数，可手动构造分区删除CQL批量执行：

import com.datastax.driver.core.Cluster

val partitionKeys = sc.parallelize(Seq(1, 2, 3))

partitionKeys.foreachPartition { keyIter =>
  // 每个分区复用同一个Cassandra会话，避免连接爆炸
  val cluster = Cluster.builder().addContactPoint("你的Cassandra地址").build()
  val session = cluster.connect("你的键空间名")
  val deleteStmt = session.prepare("DELETE FROM 你的表名 WHERE a = ?")

  keyIter.foreach { a =>
    session.execute(deleteStmt.bind(a))
  }

  session.close()
  cluster.close()
}