从跨数据库表行数对比SQL脚本输出中提取非零值

针对你有近2000个表的行数对比SQL输出，需要提取非零结果的需求，这里有几个实用的解决方案，你可以根据自己的场景选择：

方案1：用命令行工具快速处理现有输出文件（Linux/Unix环境） #

如果已经生成了输出文件，用grep+awk的组合可以快速过滤出非零结果。假设你的输出文件叫sql_results.txt，执行以下命令：

grep -A1 -B1 "^[0-9]*$" sql_results.txt | grep -v "^--*$" | awk 'NR%2{sql=$0;next}{if($0!=0) print sql " -> " $0}'

命令解释： #

• grep -A1 -B1 "^[0-9]*$"：匹配所有纯数字行，并带上前后各一行（对应的SQL语句和分隔线）
• grep -v "^--*$"：去掉那些全是短横线的分隔线行
• awk 'NR%2{sql=$0;next}{if($0!=0) print sql " -> " $0}'：把奇数行存为SQL语句，偶数行判断是否为0，非零则输出SQL和对应的差值

方案2：用Python脚本灵活处理（跨平台） #

如果需要更灵活的逻辑，或者在Windows环境下，写个简单的Python脚本就能搞定：

# 读取输出文件并提取非零结果
with open('sql_results.txt', 'r', encoding='utf-8') as f:
    lines = [line.strip() for line in f.readlines()]
    idx = 0
    while idx < len(lines):
        current_line = lines[idx]
        # 识别SQL语句行（以select开头）
        if current_line.startswith('select'):
            sql_stmt = current_line
            # 跳过后面的分隔线
            idx += 1
            while idx < len(lines) and lines[idx].startswith('-'):
                idx += 1
            # 读取差值行
            if idx < len(lines) and lines[idx].isdigit():
                diff = lines[idx]
                if diff != '0':
                    print(f"{sql_stmt} -> {diff}")
        idx += 1

运行这个脚本后，会直接输出所有非零的行数对比结果，你也可以修改脚本把结果写入新文件保存。

方案3：提前在SQL层面过滤（最高效） #

其实你可以不用先跑2000个脚本再处理输出，直接修改SQL逻辑，让它只返回非零的结果。比如用Oracle的PL/SQL批量处理所有表：

DECLARE
    v_table_name VARCHAR2(100);
    v_diff NUMBER;
BEGIN
    -- 遍历需要对比的表列表（这里可以换成你的表名集合，比如从某个表读取）
    FOR tbl IN (SELECT table_name FROM user_tables WHERE table_name IN ('ABC', 'OPO', 'XYZ')) LOOP
        -- 动态计算行数差值
        EXECUTE IMMEDIATE 
            'SELECT (SELECT COUNT(1) FROM source.' || tbl.table_name || '@remotedb) - (SELECT COUNT(1) FROM target.' || tbl.table_name || ') FROM dual'
            INTO v_diff;
        -- 只输出非零结果
        IF v_diff != 0 THEN
            DBMS_OUTPUT.PUT_LINE(
                'select count(1) from source.' || tbl.table_name || '@remotedb - select count(1) from target.' || tbl.table_name 
                || ' -> ' || v_diff
            );
        END IF;
    END LOOP;
END;
/

这个方法直接在数据库里处理，避免生成大量输出文件，效率更高，特别适合你有大量表的场景。

内容的提问来源于stack exchange，提问作者Ajay Chandi