基于字符串匹配实现URL字段关联并对齐gameid的问题求解

核心原因排查 #

你遇到的surl导出时自动带引号、等值匹配无结果的问题，本质是surl字段存在未清理的首尾空格、换行/制表符等不可见字符，直接导致等值匹配失效。

具体解决步骤 #

1. 快速验证问题 #

执行以下SQL查看两个URL字段的长度差异：

SELECT 
  eurl, 
  surl, 
  LENGTH(eurl) e_len,
  LENGTH(surl) s_len,
  LENGTH(TRIM(eurl)) trim_e_len,
  LENGTH(TRIM(surl)) trim_s_len
FROM urltable LIMIT 10;

如果TRIM后的长度一致，说明仅存在首尾空格问题。

2. 临时匹配方案 #

不需要修改原表数据，直接在匹配时清理字段即可：

-- 单表匹配eurl和surl
SELECT * FROM urltable WHERE TRIM(eurl) = TRIM(surl);

-- 跨表关联URL字段
SELECT s.url, e.gameid
FROM elixerdata e
JOIN scrapeddata s ON TRIM(e.url) = TRIM(s.url);

3. 永久修复方案 #

重新导入数据时直接清理所有不可见字符，避免后续重复处理：

DROP TABLE IF EXISTS urltable;
CREATE TABLE urltable(
  eurl varchar(255),
  gameid varchar(20),
  surl varchar(255)
);

LOAD DATA LOCAL INFILE 'csvfile.csv' INTO TABLE urltable
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
IGNORE 1 LINES
(@eurl, @gameid, @surl)
SET 
  eurl = TRIM(REPLACE(REPLACE(REPLACE(@eurl, '\r', ''), '\n', ''), '\t', '')),
  gameid = TRIM(@gameid),
  surl = TRIM(REPLACE(REPLACE(REPLACE(@surl, '\r', ''), '\n', ''), '\t', ''));

4. 带校验的gameid匹配 #

完成数据清理后，用以下语句实现surl匹配gameid同时用eurl校验的需求：

SELECT 
  surl,
  gameid,
  CASE WHEN eurl = surl THEN 1 ELSE 0 END AS is_verify_pass
FROM urltable;

如果仍有少量URL不匹配的情况，可以利用gameid是URL组成部分的特性做模糊关联：

SELECT s.surl, e.gameid
FROM urltable e
JOIN urltable s ON LOCATE(e.gameid, s.surl) > 0;

内容的提问来源于stack exchange，提问作者S.Slusky