PHP实现JSON数据入库去重及定时新增电台数据问题求助

这个问题我之前帮不少开发者解决过——核心问题就是你没有给数据库设置唯一标识来区分已存在的电台，导致每次任务都把所有数据重新插一遍。下面给你一套完整的解决方案：

1. 确定唯一标识字段 #

首先得找到一个能唯一识别电台的字段，从你的JSON示例来看：

• stationname可能重名（比如不同地区可能有同名电台）
• websiteurl也可能存在多个电台共用一个网站的情况
• streamurl是最优选择——每个电台的流媒体地址肯定是唯一的，不会重复。如果你的场景里streamurl可能有变化，那可以考虑用stationname+websiteurl的组合唯一键。

2. 给数据库表添加唯一约束 #

不管用哪个字段（或组合），都要给数据库表加上唯一约束，这样数据库会自动帮你拦截重复数据。比如用MySQL的话：

-- 单字段唯一约束（推荐用streamurl）
ALTER TABLE stations ADD UNIQUE KEY unique_streamurl (streamurl);

-- 如果用组合键的话
ALTER TABLE stations ADD UNIQUE KEY unique_station_website (stationname, websiteurl);

3. 选择合适的插入策略 #

有两种高效的方式，推荐第一种（数据库原生支持，更可靠）：

方式一：用INSERT IGNORE或INSERT ... ON DUPLICATE KEY UPDATE #

这两个语法都是MySQL原生支持的，不用你自己写查询判断，直接让数据库处理去重：

• INSERT IGNORE：如果遇到唯一键冲突，直接跳过这条记录，只插入新的：

INSERT IGNORE INTO stations (stationname, websiteurl, streamurl) VALUES (?, ?, ?);

• INSERT ... ON DUPLICATE KEY UPDATE：如果遇到冲突，更新已有记录的其他字段（比如电台名称或网址变了的话），没有冲突就插入：

INSERT INTO stations (stationname, websiteurl, streamurl) VALUES (?, ?, ?)
ON DUPLICATE KEY UPDATE 
  stationname = VALUES(stationname),
  websiteurl = VALUES(websiteurl);

方式二：先查询再插入（适合低频率任务） #

如果你的数据库不支持上面的语法，或者你想自己控制逻辑，可以先查询是否存在，再插入。比如Node.js里的示例代码：

// 假设你用mysql2/promise库连接数据库
const checkAndInsertStation = async (db, station) => {
  // 先根据唯一键查询
  const [existing] = await db.query(
    'SELECT id FROM stations WHERE streamurl = ?',
    [station.streamurl]
  );
  
  if (existing.length === 0) {
    // 不存在则插入
    await db.query(
      'INSERT INTO stations (stationname, websiteurl, streamurl) VALUES (?, ?, ?)',
      [station.stationname, station.websiteurl, station.streamurl]
    );
    console.log(`插入新电台：${station.stationname}`);
  } else {
    console.log(`电台已存在：${station.stationname}`);
  }
};

// 在setInterval里调用（建议用setTimeout避免任务重叠）
const runSyncTask = async () => {
  // 读取JSON文件的逻辑
  const jsonData = require('./your-radio-file.json');
  const db = await getDbConnection(); // 你的数据库连接函数
  
  for (const station of jsonData) {
    await checkAndInsertStation(db, station);
  }
  
  await db.end();
  // 任务完成后再设置下一次执行
  setTimeout(runSyncTask, 5 * 60 * 1000);
};

// 启动任务
runSyncTask();

额外注意事项 #

• 避免任务重叠：用setTimeout替代setInterval，确保上一次任务完成后再启动下一次，防止并发插入引发的问题。
• 统一字段格式：比如streamurl可能有大小写差异，或者末尾带/不带斜杠，最好在插入前统一处理（比如转小写、去掉末尾斜杠），避免因为格式问题导致重复插入。
• 日志记录：每次任务执行时记录插入/跳过的数量，方便后续排查问题。

内容的提问来源于stack exchange，提问作者Akash