如何匹配两个尺寸不兼容的数据集并删除主数据集中的无效数据

核心思路 #

用向量化匹配函数ismember替代循环调用find，完全避免逐行操作，六万级数据量下运算耗时可以忽略不计。 #

场景1：使用MATLAB Table类型存储数据（推荐） #

假设主表名为main_table，第一列列名为ID；无效ID表名为invalid_id_table，ID列列名同为ID，直接执行以下代码：

% 筛选出主表中ID不在无效ID列表内的行，直接覆盖原表即可
main_table = main_table(~ismember(main_table.ID, invalid_id_table.ID), :);

场景2：使用普通数值矩阵存储数据 #

假设主数据矩阵名为main_mat，第一列为ID列；无效ID存储矩阵名为invalid_id_mat（2000×1维度），执行以下代码：

main_mat = main_mat(~ismember(main_mat(:,1), invalid_id_mat), :);

注意事项 #

如果ID为字符串类型而非数值类型，仅需确保MATLAB版本在R2016b及以上，上述ismember代码无需修改即可直接运行；版本更低的情况下可先将ID列转为cell类型再执行匹配。

可选优化（需要高频匹配ID时使用） #

将无效ID转为分类变量可进一步提升匹配速度，适合十万行以上数据集使用：

invalid_ids = categorical(invalid_id_table.ID);
main_table = main_table(~ismember(main_table.ID, invalid_ids), :);

内容的提问来源于stack exchange，提问作者Ari