Python实现Pandas DataFrame数值频次统计 构建候选项1项集
单维度项集挖掘1项候选集频次统计实现
需求背景
- 项集挖掘所用数据集为3000行1列的单维度结构,核心需求是统计每个唯一数值的出现频次,生成流程所需的1项候选集(Candidate 1 itemsets)
- 前期已完成数据集去重值的存储,去重结果为ndarray结构,但暂无法直接基于该结构计算每个数值在原数据集内的出现频率
在@jojo的协助下,最终可通过如下代码实现目标统计逻辑:
df = pd.read_csv('sample.csv', sep=',') all_values = dataset.values.ravel() notNan = np.logical_not(np.isnan(all_values)) distinct, counts = np.unique(all_values[notNan], return_counts=True)
代码逻辑说明
- 调用
pd.read_csv读取本地存储的csv格式原始数据集 - 对存储数据的二维ndarray调用
.ravel()方法,将3000行1列的二维结构展平为一维数组,适配后续统计接口的输入要求 - 构造布尔掩码过滤缺失值(NaN),避免无意义的空值被误纳入候选集统计
- 调用
np.unique并设置return_counts=True,同步返回两个输出结果:去重后的唯一值数组distinct、每个唯一值在非空数据集内的出现次数数组counts,结果可直接用于组装符合规范的1项候选集
内容的提问来源于stack exchange,提问作者Ashar
相关产品推荐
相关产品推荐

