如何使用SQL批量移除大型数据库titleurl字段中的标识符

批量移除titleurl列标识符的SQL方案 #

根据需要移除的标识符规则不同，可选择对应的SQL实现，主流数据库的常见场景写法如下： #

场景1：移除固定前缀/后缀标识符 #

适用于要删除的内容是固定字符串的场景，比如固定的域名前缀、固定后缀标识：

• MySQL/MariaDB 示例

-- 先验证处理结果是否符合预期，确认无误再执行更新
SELECT titleurl, REPLACE(titleurl, '要移除的固定内容', '') AS processed_result FROM 你的表名 LIMIT 10;
-- 执行批量更新
UPDATE 你的表名 SET titleurl = REPLACE(titleurl, '要移除的固定内容', '');

• PostgreSQL 示例

-- 验证
SELECT titleurl, REPLACE(titleurl, '要移除的固定内容', '') AS processed_result FROM 你的表名 LIMIT 10;
-- 更新
UPDATE 你的表名 SET titleurl = REPLACE(titleurl, '要移除的固定内容', '');

• SQL Server 示例

-- 验证
SELECT TOP 10 titleurl, REPLACE(titleurl, '要移除的固定内容', '') AS processed_result FROM 你的表名;
-- 更新
UPDATE 你的表名 SET titleurl = REPLACE(titleurl, '要移除的固定内容', '');

场景2：移除指定符号前后的所有标识符 #

适用于要删除特定符号后的内容，比如?后的查询参数、#后的锚点标识：

• MySQL/MariaDB 示例（以移除?后的所有内容为例）

-- 验证
SELECT titleurl, SUBSTRING_INDEX(titleurl, '?', 1) AS processed_result FROM 你的表名 LIMIT 10;
-- 仅更新包含?的行，减少无效操作
UPDATE 你的表名 SET titleurl = SUBSTRING_INDEX(titleurl, '?', 1) WHERE INSTR(titleurl, '?') > 0;

• PostgreSQL 示例

-- 验证
SELECT titleurl, SPLIT_PART(titleurl, '?', 1) AS processed_result FROM 你的表名 LIMIT 10;
-- 更新
UPDATE 你的表名 SET titleurl = SPLIT_PART(titleurl, '?', 1) WHERE STRPOS(titleurl, '?') > 0;

场景3：规则复杂的标识符（正则替换） #

如果要移除的标识符规则不固定，可以用正则匹配处理：

• MySQL 8.0+/MariaDB 10.0+ 示例（示例为移除所有数字标识符）

-- 验证
SELECT titleurl, REGEXP_REPLACE(titleurl, '[0-9]+', '') AS processed_result FROM 你的表名 LIMIT 10;
-- 更新
UPDATE 你的表名 SET titleurl = REGEXP_REPLACE(titleurl, '[0-9]+', '');

• PostgreSQL 示例

-- 验证
SELECT titleurl, regexp_replace(titleurl, '[0-9]+', '') AS processed_result FROM 你的表名 LIMIT 10;
-- 更新
UPDATE 你的表名 SET titleurl = regexp_replace(titleurl, '[0-9]+', '');

270万行大数据量操作注意事项 #

• 操作前必须全量备份表数据，避免更新错误无法回滚
• 建议分批更新（比如每次更新1万行），减少锁表时间，避免影响正常业务
• 选择非业务高峰时段执行操作
• 如果titleurl列存在索引，建议先删除索引再执行更新，更新完成后重建索引，可大幅提升执行效率

内容的提问来源于stack exchange，提问作者rew