如何高效统计大型数据集中各字符的出现次数？

原方法的问题在于对每个可打印字符都遍历一次1400万条数据，重复遍历导致耗时极高。下面是几种更高效的实现方案：

方案一：迭代器展开+Counter统计（内存友好首选） #

利用itertools.chain逐个展开所有字符串的字符，避免一次性加载所有字符到内存，再用collections.Counter完成统计，仅需遍历数据集一次：

from itertools import chain
from collections import Counter
import numpy as np

# 假设data是你的Numpy字符串数组
all_chars = chain.from_iterable(data)
char_count = dict(Counter(all_chars))

这个方案的时间复杂度为O(T)（T是所有字符串的总字符数），内存占用极低，适合超大规模数据集。

方案二：Numpy原生拼接+unique统计 #

如果服务器内存充足，可以将所有字符串的字符拼接成一个一维Numpy数组，再用np.unique直接统计：

import numpy as np

# 拼接所有字符为一维数组
char_array = np.concatenate([np.array(list(s)) for s in data])
# 获取唯一字符及对应次数
unique_chars, counts = np.unique(char_array, return_counts=True)
char_count = dict(zip(unique_chars, counts))

该方案利用Numpy的底层优化，统计速度较快，但需注意内存占用——若总字符数过大，可能会消耗较多内存。

方案三：Pandas批量处理（适合结构化数据场景） #

如果你的数据已经在Pandas DataFrame中，也可以用Pandas的字符串方法快速统计：

import pandas as pd

# 假设data是Numpy数组，先转成Series
s = pd.Series(data)
# 展开所有字符并统计
char_count = s.str.cat().value_counts().to_dict()

str.cat()会将所有字符串拼接成一个大字符串，再用value_counts()统计，操作简洁高效。

内容的提问来源于stack exchange，提问作者damp_floor_sign