如何使用CQL删除含复合主键的Cassandra表中重复记录

核心思路 #

Cassandra删除记录必须指定完整主键，因此需先定位待删除记录的完整主键信息，再执行删除操作。针对你的场景，关键是识别出transaction_id包含连续--（段缺失）的重复记录，再通过完整主键删除它们。

步骤1：定位重复记录组 #

先查询所有存在重复的记录组（除transaction_id外其他字段完全一致的集合），并获取每组的所有transaction_id：

SELECT account_id, year, txn_date, amount, type, currency, COLLECT_SET(transaction_id) AS txn_ids
FROM myschema.transactions
GROUP BY account_id, year, txn_date, amount, type, currency
HAVING COUNT(*) > 1;

注意：如果year、txn_date不是聚类键前缀，执行时需添加ALLOW FILTERING，但该操作在大数据量下会严重影响集群性能，此时建议用Spark Cassandra Connector批量处理。

步骤2：识别待删除的transaction_id #

从每个组的txn_ids集合中，筛选出包含--的transaction_id（即段缺失的错误记录），比如示例中的20231129--123456-123。

步骤3：执行删除操作 #

针对每个待删除记录，构造包含全部主键字段的DELETE语句：

DELETE FROM myschema.transactions
WHERE account_id = '123456'
  AND transaction_id = '20231129--123456-123'
  AND year = 2023
  AND txn_date = '2023-11-29';

批量处理方案（适用于大量重复记录） #

若待处理记录较多，可通过脚本自动化完成，以Python为例（依赖cassandra-driver库）：

from cassandra.cluster import Cluster

# 连接Cassandra集群
cluster = Cluster(['你的Cassandra节点IP'])
session = cluster.connect('myschema')

# 查询重复组
query = """
SELECT account_id, year, txn_date, amount, type, currency, COLLECT_SET(transaction_id) AS txn_ids
FROM transactions
GROUP BY account_id, year, txn_date, amount, type, currency
HAVING COUNT(*) > 1;
"""
rows = session.execute(query)

# 遍历删除错误记录
for row in rows:
    for txn_id in row.txn_ids:
        if '--' in txn_id:
            delete_query = """
            DELETE FROM transactions
            WHERE account_id = %s
              AND transaction_id = %s
              AND year = %s
              AND txn_date = %s;
            """
            session.execute(delete_query, (row.account_id, txn_id, row.year, row.txn_date))

# 关闭连接
cluster.shutdown()

注意事项 #

1. 备份优先：执行删除前务必备份目标表数据，避免误删。
2. 验证准确性：删除前可先执行SELECT确认待删除记录：

   SELECT * FROM myschema.transactions
   WHERE account_id = '123456'
     AND transaction_id = '20231129--123456-123'
     AND year = 2023
     AND txn_date = '2023-11-29';
   

3. 大数据量优化：数据量较大时，避免使用ALLOW FILTERING，改用Spark批量读取、筛选并删除记录，降低集群压力。

内容的提问来源于stack exchange，提问作者Kasun Kariyawasam