CakePHP4中如何检测CSV文件特定字段组合的重复行

我有一个包含多字段的CSV文件，需要检查start_date、end date、zone、package、union这五个字段的组合是否重复。目前在CakePHP4中实现时，用in_array方法检测，随机分布的数据能正常工作，但有序数据会误判为重复。以下是我的validateWagerows函数代码，求问题排查帮助或可用脚本：

public function validateWagerows($tmp_filename) {

    $invalid_rows = array();
    $invalid_row_count =array();
    $invalid_row_count = 0;
    $not_found_count = 0;
    $unionnumbers=array();
    $sd=array();
    $ed=array();
    $pck=array();
    $zd=array();
    $wr=array();
    $not_found=array();
    // open the file
    $file = fopen($tmp_filename, "r");
    if($file === false) {

        $this->Flash->error('Failed to open .csv file');
        return $this->redirect(['action' => 'upload']);
    } else {
        $header = fgetcsv($file);

        while(($row = fgetcsv($file)) !== FALSE) {

            foreach ($header as $k => $head) {
                    if($head == 'Start Date') {
                        $start_dates = (isset($row[$k])) ? trim($row[$k]) : '';
                    }
                    else if($head == 'End Date') {
                        $end_dates = (isset($row[$k])) ? trim($row[$k]) : '';
                    }
                    else if($head == 'Local Union') {
                        $local_union_ids= (isset($row[$k])) ? trim($row[$k]) : '';
                    }
                    else if($head == 'Package') {
                        $package_id = (isset($row[$k])) ? trim($row[$k]) : '';
                    }

                   else if($head === 'Zone') {
                        $zones_id = (isset($row[$k])) ? trim($row[$k]) : '';

                    }

        }

        if (in_array($start_dates,$sd) && in_array($end_dates,$ed) && in_array($local_union_ids, $unionnumbers)  && in_array($zones_id,$zd) &&  in_array($package_id,$pck)  )
        {

          $invalid_rows[$invalid_row_count]['same-data'] = "No Two or more rows with same Zone + Package +Unions within a Start and End Date can Exist in Csv ";
          $result = ['invalid_row_count' => $invalid_row_count, 'invalid_rows' => $invalid_rows];
                $true=$true+1;
         }
      $unionnumbers[]=$local_union_ids;
      $sd[]=$start_dates;
      $ed[]=$end_dates;
      $pck[]=$package_id;
      $zd[]=$zones_id;


      $invalid_row_count++;

    }

    fclose($file);
    $result = ['invalid_row_count' => $invalid_row_count, 'invalid_rows' => $invalid_rows];
    print_r($result);
    die;
     return $result;

}
}

问题根源 #

当前代码的核心错误是：分别检查每个字段是否单独存在于对应数组中，而非检查五个字段的完整组合是否重复。比如只要某行的start_date在之前出现过、end_date也在之前出现过……不管这些字段是不是来自同一行，都会被判定为重复。有序数据中单个字段重复概率高，所以会频繁误判；随机数据中这种情况概率低，所以看似正常。

修复方案 #

正确逻辑是把五个字段的组合生成唯一标识，存入数组后检查当前行的组合标识是否已存在。

修正后的代码 #

public function validateWagerows($tmp_filename) {
    $invalid_rows = [];
    $invalid_row_count = 0;
    $seen_combinations = []; // 存储已出现的完整字段组合

    // 打开文件
    $file = fopen($tmp_filename, "r");
    if($file === false) {
        $this->Flash->error('无法打开CSV文件');
        return $this->redirect(['action' => 'upload']);
    } 

    $header = fgetcsv($file);
    while(($row = fgetcsv($file)) !== FALSE) {
        // 初始化字段变量
        $start_dates = '';
        $end_dates = '';
        $local_union_ids = '';
        $package_id = '';
        $zones_id = '';

        // 提取当前行的目标字段
        foreach ($header as $k => $head) {
            switch(trim($head)) {
                case 'Start Date':
                    $start_dates = isset($row[$k]) ? trim($row[$k]) : '';
                    break;
                case 'End Date':
                    $end_dates = isset($row[$k]) ? trim($row[$k]) : '';
                    break;
                case 'Local Union':
                    $local_union_ids = isset($row[$k]) ? trim($row[$k]) : '';
                    break;
                case 'Package':
                    $package_id = isset($row[$k]) ? trim($row[$k]) : '';
                    break;
                case 'Zone':
                    $zones_id = isset($row[$k]) ? trim($row[$k]) : '';
                    break;
            }
        }

        // 生成唯一组合标识（用|分隔避免字段值拼接冲突）
        $combination = implode('|', [
            $start_dates,
            $end_dates,
            $zones_id,
            $package_id,
            $local_union_ids
        ]);

        // 检查组合是否重复
        if (in_array($combination, $seen_combinations)) {
            $invalid_rows[$invalid_row_count]['same-data'] = "CSV中不允许存在Zone + Package + Union + 起止日期组合重复的行";
        }

        // 记录当前组合
        $seen_combinations[] = $combination;
        $invalid_row_count++;
    }

    fclose($file);
    return [
        'invalid_row_count' => $invalid_row_count,
        'invalid_rows' => $invalid_rows
    ];
}

关键改进点 #

• 用$seen_combinations存储完整字段组合，而非单个字段的分散数组
• 用implode生成唯一组合字符串，选择|作为分隔符避免字段值冲突
• 初始化所有字段变量，避免未定义变量的潜在问题
• 简化字段提取逻辑为switch语句，更易维护
• 移除冗余变量和无意义代码（如未使用的$not_found、$wr等）

内容的提问来源于stack exchange，提问作者Farhan Farooq Sheikh