如何高效扫描带表头的100列×1000行数组，统计各列与第100列的匹配行数？

嘿，这个需求其实挺典型的，最优解法得看你用什么工具，但我会给你几个主流场景下的高效方案，顺便聊聊循环的事儿～

1. Python + Pandas（最推荐，大数据量高效） #

Pandas天生就是处理表格数据的神器，这种列级别的比较统计完全不需要写手动循环，用内置的向量操作就能搞定，速度比手动循环快N倍——哪怕是1000行的量，也是瞬间完成。

举个实际代码例子：
假设你的数据存在DataFrame df 里，第100列的列名是col100：

# 对第1到99列，逐列计算和col100相等的行数
match_counts = df.iloc[:, 0:99].eq(df['col100'], axis=0).sum()

# 输出成你要的两列表格形式
result_df = match_counts.reset_index()
result_df.columns = ['COLUMN NO.', 'DUPLICATES (Matches)']
print(result_df)

# 如果要输出成自然语言描述的格式：
for col_name, count in match_counts.items():
    col_num = col_name.split('COL')[-1]  # 假设列名是COL1、COL2这种格式
    print(f"Col{col_num}有{count}个匹配项（与Col100在{count}行匹配）")

简单解释下：eq()会逐元素比较每列和col100的值，返回一个布尔矩阵；sum()按列求和（True对应1，False对应0），直接得到每列的匹配行数。全程没有手动循环，Pandas的底层是C实现的，效率拉满。

2. 原生Python（无第三方库） #

如果没法用Pandas，也尽量别写嵌套循环（比如先遍历1000行再遍历99列），可以用列表推导和zip来优化：
假设你的数据是一个二维列表data，每行是一个包含100个元素的列表：

# 先提取第100列的所有值（注意Python索引从0开始，所以是索引99）
col100_values = [row[99] for row in data]

# 遍历第1到99列（对应索引0到98），统计匹配数
match_results = []
for col_idx in range(99):
    # 把当前列的所有值和col100对应位置配对，统计相等的数量
    current_col_values = [row[col_idx] for row in data]
    match_count = sum(1 for val1, val2 in zip(current_col_values, col100_values) if val1 == val2)
    match_results.append( (col_idx + 1, match_count) )  # 列号从1开始计数

# 输出表格格式
print("COLUMN NO. DUPLICATES (Matches)")
for col_no, cnt in match_results:
    print(f"{col_no} {cnt}")

这里虽然有一个遍历列的单循环，但内部用了生成器表达式和zip做批量配对比较，比嵌套循环高效得多，也更简洁。

3. Excel（办公场景） #

如果是用Excel处理，完全不需要写VBA循环，直接用公式就能搞定：
假设第100列是CV列，要统计A列（对应COL1）和CV列的匹配行数，在空白单元格输入：
=SUMPRODUCT(--(A:A=CV:CV))
然后把这个公式下拉填充到B到CU列对应的统计单元格，就能快速得到每列的匹配数。
解释一下：A:A=CV:CV会返回一个布尔数组，--把True转换成1、False转换成0，SUMPRODUCT负责求和，全程都是Excel内部优化的批量计算，比手动写循环快太多。

结论：绝对不要用手动的嵌套循环（逐行+逐列），除非你用的工具完全没有批量/向量操作能力。

• 手动嵌套循环的问题：代码冗余，效率极低——虽然1000×99=99000次判断看起来不多，但数据量变大时（比如10万行），差距会指数级拉大；而且代码可读性差，容易出错。
• 工具内置的批量操作：不管是Pandas的向量运算、Python的生成器/zip，还是Excel的公式，都是底层优化过的，速度快、代码简洁，可读性也更强。

唯一可以接受的循环是遍历列的单循环（比如原生Python里的for col_idx in range(99)），但这也是在没有更高效批量方法时的退而求其次，而且内部一定要用批量比较的方式，别逐行判断。

内容的提问来源于stack exchange，提问作者Gene100