Spark-Cassandra Connector 2.0如何获取Cassandra Schema信息？

嘿，我之前也碰到过这个问题！Spark-Cassandra Connector 2.0确实移除了CassandraSQLContext，但完全不用担心，有两个靠谱的替代方案能帮你执行CQL查询元数据：

Spark 2.x之后统一用SparkSession作为所有API的入口，Connector 2.0也完全整合进了这个体系里。只要你在初始化SparkSession时配置好Cassandra的连接参数，就能直接用标准的spark.sql()方法执行你的CQL语句，包括查询系统元数据表。

举个Scala的例子：

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()
  .appName("CassandraMetadataLookup")
  .config("spark.cassandra.connection.host", "你的Cassandra主机地址")
  .config("spark.cassandra.connection.port", "9042")
  // 如果需要认证的话，加上下面两行
  // .config("spark.cassandra.auth.username", "your-username")
  // .config("spark.cassandra.auth.password", "your-password")
  .getOrCreate()

// 直接执行你需要的CQL查询
val metadataDF = spark.sql("SELECT keyspace_name, table_name, column_name, type FROM system_schema.columns WHERE keyspace_name = 'test'")

// 查看结果
metadataDF.show()
// 也可以把结果转换成Dataset或者进行后续处理

这里的spark.sql()完全支持Cassandra的CQL语法，查询system_schema.columns这类系统表和查普通业务表的方式一模一样。

如果你需要更底层的控制（比如直接操作Cassandra的ResultSet，而不是转换成Spark DataFrame），可以用CassandraConnector来创建原生的Cassandra Session，直接执行CQL语句。

示例代码如下：

import com.datastax.spark.connector.cql.CassandraConnector
import org.apache.spark.SparkConf

val conf = new SparkConf()
  .set("spark.cassandra.connection.host", "你的Cassandra主机地址")
  .set("spark.cassandra.connection.port", "9042")
  // 认证信息按需添加
  // .set("spark.cassandra.auth.username", "your-username")
  // .set("spark.cassandra.auth.password", "your-password")

// 用Connector创建Session并执行查询
CassandraConnector(conf).withSessionDo { session =>
  val resultSet = session.execute("SELECT keyspace_name, table_name, column_name, type FROM system_schema.columns WHERE keyspace_name = 'test'")
  
  // 遍历结果集
  while (resultSet.hasNext) {
    val row = resultSet.next()
    println(s"Keyspace: ${row.getString("keyspace_name")}, Table: ${row.getString("table_name")}, Column: ${row.getString("column_name")}, Type: ${row.getString("type")}")
  }
}

这个方法适合那些不需要Spark分布式处理能力，只是单纯想获取Cassandra元数据的场景。

补充说明 #

Connector 2.0移除CassandraSQLContext是为了对齐Spark 2.x的架构升级——Spark 2.x用SparkSession统一了SQL、DataFrame和Dataset的API，Connector自然也跟着淘汰了旧的入口类，把功能整合到了标准Spark API里，所以你并没有遗漏什么API，只是换了更统一的方式而已。

内容的提问来源于stack exchange，提问作者jagsr