Bigtable基于前缀删除含指定列的行失败，求解决方案及Java实现

• 你当前的命令逻辑错误：grep dummy_6833输出的是列匹配行，内容是类似 cf_abc:dummy_6833 @ 2021/05/22-23:06:05.000000的字符串，不是Bigtable的行键，直接传给deleterow时传入的是不存在的行键，Bigtable删除不存在的行不会报错，所以出现无报错但数据未删除的情况。

调整管道逻辑，先匹配到包含dummy_6833的列所属的行键，再执行删除：

#!/bin/bash
INSTANCE="my-instance"
TABLE="<替换为实际表名>"
PREFIX="test_2410"

# 读取所有前缀匹配的行，提取行键并判断是否包含目标列
cbt -instance="$INSTANCE" read "$TABLE" prefix="$PREFIX" | while read -r line; do
    # 识别行键（无前置空格、不是分隔线的行）
    if [[ ! $line =~ ^\ |^-+$ ]]; then
        current_rowkey="$line"
        has_target_col=0
    # 匹配到目标列，标记当前行键需要删除
    elif [[ $line == *"dummy_6833"* ]]; then
        has_target_col=1
    # 遇到行分隔符，判断是否要删除当前行键
    elif [[ $line =~ ^-+$ && $has_target_col -eq 1 ]]; then
        echo "Deleting row: $current_rowkey"
        cbt -instance="$INSTANCE" deleterow "$TABLE" "$current_rowkey"
        has_target_col=0
    fi
done
# 处理最后一个行（没有后续分隔线的情况）
if [[ $has_target_col -eq 1 ]]; then
    echo "Deleting row: $current_rowkey"
    cbt -instance="$INSTANCE" deleterow "$TABLE" "$current_rowkey"
fi

注意：如果表数据量很大，逐行调用cbt性能较低，建议使用Java客户端批量处理。

使用官方Bigtable Java客户端批量扫描并删除符合条件的行，性能更高：

1. 首先引入依赖（Maven示例）：

<dependency>
    <groupId>com.google.cloud</groupId>
    <artifactId>google-cloud-bigtable</artifactId>
    <version>2.39.0</version>
</dependency>

2. 核心代码：

import com.google.cloud.bigtable.data.v2.BigtableDataClient;
import com.google.cloud.bigtable.data.v2.models.Query;
import com.google.cloud.bigtable.data.v2.models.Row;
import com.google.cloud.bigtable.data.v2.models.RowMutation;
import com.google.protobuf.ByteString;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;

public class DeleteTargetRows {
    public static void main(String[] args) throws IOException {
        String projectId = "<替换为实际项目ID>";
        String instanceId = "my-instance";
        String tableId = "<替换为实际表名>";
        String prefix = "test_2410";
        ByteString targetCol = ByteString.copyFromUtf8("dummy_6833");
        ByteString family = ByteString.copyFromUtf8("cf_abc");

        try (BigtableDataClient dataClient = BigtableDataClient.create(projectId, instanceId)) {
            Query query = Query.create(tableId).prefix(ByteString.copyFromUtf8(prefix));
            List<RowMutation> deleteMutations = new ArrayList<>();

            // 扫描所有前缀匹配的行
            for (Row row : dataClient.readRows(query)) {
                // 判断是否包含目标列
                if (!row.getCells(family, targetCol).isEmpty()) {
                    // 构造删除行的请求
                    deleteMutations.add(RowMutation.create(tableId, row.getKey()).deleteRow());
                }
            }

            // 批量提交删除请求
            if (!deleteMutations.isEmpty()) {
                dataClient.bulkMutateRows(tableId, deleteMutations);
                System.out.printf("成功删除%d行包含dummy_6833的记录%n", deleteMutations.size());
            }
        }
    }
}

该实现支持大数据量场景，批量提交比逐行调用cbt命令效率高很多。

内容的提问来源于stack exchange，提问作者anonymous