Cassandra 4.x如何将一列所有值复制到另一列（非COPY方式）

针对你200万+数据量、主键为PRIMARY KEY (fieldA)的场景，完全可以不用COPY工具实现列值同步，下面是几种可行方案：

方案一：cqlsh脚本分页批量更新 #

直接单条UPDATE肯定不现实，但可以结合脚本分页查询+生成UPDATE语句批量执行：

1. 打开cqlsh关闭自动分页，方便手动控制每次查询的数量：

   PAGING OFF;
   

2. 基于主键的token范围分页查询（避免全表扫描的性能问题），每次取1000条左右：

   SELECT fieldA, fieldB FROM your_keyspace.your_table 
   WHERE token(fieldA) > token('上次处理的最后一个fieldA值') 
   LIMIT 1000;
   

3. 用Shell/Python脚本把查询结果转换成UPDATE语句，比如生成：

   UPDATE your_keyspace.your_table SET fieldC = fieldB WHERE fieldA = 'xxx';
   

4. 用cqlsh执行生成的脚本文件，建议每执行1000条就暂停几秒，避免给集群带来过大压力。

方案二：小批量BATCH语句 #

利用Cassandra的BATCH功能合并更新操作，同样要控制单批大小（建议每批1000条以内，避免触发batch大小限制）：

BEGIN BATCH
  UPDATE your_keyspace.your_table SET fieldC = fieldB WHERE fieldA = 'a1';
  UPDATE your_keyspace.your_table SET fieldC = fieldB WHERE fieldA = 'a2';
  -- 最多添加约1000条同类型语句
APPLY BATCH;

同样需要脚本自动生成批量语句，分批执行即可。

方案三：Spark高效处理（适合大数据量） #

如果有Spark集群，这是最省心高效的方式：

1. 通过Spark Cassandra Connector读取数据：

   val df = spark.read.format("org.apache.spark.sql.cassandra")
     .options(Map("table" -> "your_table", "keyspace" -> "your_keyspace"))
     .load()
   

2. 同步fieldB的值到fieldC：

   val updatedDf = df.withColumn("fieldC", df("fieldB"))
   

3. 写回Cassandra：

   updatedDf.write.format("org.apache.spark.sql.cassandra")
     .options(Map("table" -> "your_table", "keyspace" -> "your_keyspace"))
     .mode("append")
     .save()
   

Spark会自动处理并行和分页，200万数据很快就能完成。

关键注意事项 #

• null值处理：Cassandra允许直接将列值设为null，所以fieldB为null时，UPDATE会自动把fieldC设为null，完全符合你的需求。
• 性能与负载：无论用哪种方案，都不要一次性处理全量数据，拆分小批量并在低峰期操作，避免影响线上业务。
• 测试验证：先拿小部分数据测试更新逻辑，确认fieldC的值和fieldB完全一致后再全量执行。

内容的提问来源于stack exchange，提问作者mvee