如何将HashMap[Long,List[Any]]存储到指定列结构的Cassandra表中

首先确保你的Cassandra表已经按需求创建，替换your_keyspace和your_table为实际的键空间与表名即可：

CREATE TABLE IF NOT EXISTS your_keyspace.your_table (
    id bigint PRIMARY KEY,
    d1 double,
    d2 double,
    d3 double,
    d4 double,
    evt timestamp,
    lt double,
    ln double,
    s double
);

假设你已经通过DataStax Java Driver建立了Cassandra的Session连接，接下来可以按以下流程处理你的HashMap[Long, List[Any]]：

2.1 预编译插入语句 #

预编译语句能提升插入效率，还能避免SQL注入风险：

import com.datastax.oss.driver.api.core.CqlSession
import com.datastax.oss.driver.api.core.cql.{PreparedStatement, BatchStatement, BatchType}
import java.time.Instant

// 假设你已经初始化好Cassandra会话
val session: CqlSession = ... 

val insertStmt: PreparedStatement = session.prepare("""
    INSERT INTO your_keyspace.your_table (id, d1, d2, d3, d4, evt, lt, ln, s)
    VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?)
""")

2.2 遍历HashMap并插入数据 #

因为你的列表是List[Any]，用模式匹配来解析元素会比直接asInstanceOf更安全，能优雅处理格式不符的数据：

val yourDataMap: HashMap[Long, List[Any]] = ... // 你要处理的目标HashMap

// 数据量较大时用批量插入优化性能，选UNLOGGED类型（不需要原子性的场景更高效）
val batch = new BatchStatement(BatchType.UNLOGGED)

yourDataMap.foreach { case (id, dataList) =>
    dataList match {
        // 精准匹配8个元素的类型与顺序
        case List(d1: Double, d2: Double, d3: Double, d4: Double, evtSec: Double, lt: Double, ln: Double, s: Double) =>
            // 把秒级时间戳转成Cassandra支持的Instant类型
            val evtTimestamp = Instant.ofEpochSecond(evtSec.toLong)
            // 绑定参数到预编译语句
            val boundStmt = insertStmt.bind(
                id: java.lang.Long,
                d1, d2, d3, d4,
                evtTimestamp,
                lt, ln, s
            )
            batch.add(boundStmt)
        
        case _ =>
            // 处理格式异常的数据，比如打日志记录
            println(s"Skipping entry id $id: data format or element type doesn't match requirements")
    }
}

// 执行批量插入（如果批量不为空）
if (!batch.isEmpty) {
    session.execute(batch)
}

• 类型安全：必须保证List[Any]里的元素类型、顺序完全对应表列，否则会触发转换异常，模式匹配能帮你过滤掉不合格的数据。
• 时间戳转换：示例里假设evt是秒级时间戳（比如1.547012087E9等于1547012087秒），如果是毫秒级时间戳，要改成Instant.ofEpochMilli(evtSec.toLong)。
• 批量大小控制：批量插入时建议每批不超过100条，避免触发Cassandra的限流机制；如果数据量极大，可以分多批处理。
• 异常处理：生产环境里记得加try-catch块，处理数据库连接、类型转换等异常，防止程序崩溃。

内容的提问来源于stack exchange，提问作者experiment