假新闻检测中csr矩阵取值触发ValueError数组真值歧义错误如何解决
错误原因
错误触发的核心原因是self.X[j][i]写法不适合读取CSR稀疏矩阵的单个元素:CSR矩阵执行self.X[j]时会返回1行的子稀疏矩阵,后续再用[i]索引得到的依然是数组类结构而非标量值,对这种多元素结构做!=0的布尔判断时就会触发歧义报错。
解决方案
方案1:最小改动修复
将判断行的self.X[j][i]替换为CSR矩阵原生支持的二维逗号索引self.X[j, i],该写法会直接返回对应坐标的标量值,原有判断逻辑可直接复用:
# 替换前 # if self.X[j][i] != 0: # 替换后 if self.X[j, i] != 0:
方案2:性能优化版实现
原有双重循环遍历全量矩阵元素的逻辑效率极低,当文档量、词典规模较大时运行耗时会非常高。CSR矩阵本身仅存储非0元素的坐标和数值,可直接遍历非0元素完成统计,跳过所有无意义的0值判断:
def createFeatureDictionary(self): categories = {} categoryCount = {} unique_y = np.unique(self.y) for yi in unique_y: # 提前初始化所有特征的初始频率为0,对齐原有逻辑 categories[yi] = {i: 0 for i in range(self.vocabularyCount)} categoryCount[yi] = len(self.y[self.y == yi]) # 直接获取CSR矩阵所有非0元素的行、列坐标 non_zero_rows, non_zero_cols = self.X.nonzero() for j, i in zip(non_zero_rows, non_zero_cols): yi = self.y[j] categories[yi][i] += 1 return categories, categoryCount
内容的提问来源于stack exchange,提问作者Sanket Kulkarni
相关产品推荐
相关产品推荐

