Typesense导入前如何检查重复文档？求最佳实践

首先明确：你设置primary_key的方向是对的，但Typesense里主键的作用是覆盖旧文档而非阻止重复导入——当导入已有主键的文档时，系统会直接用新数据替换旧数据，不会报错或自动跳过。

根据你的需求不同，最佳实践分两种情况：

1. 需求是用新数据覆盖旧数据：直接导入即可 #

这是最高效的方式，完全不需要提前检查重复。因为Typesense会自动识别相同video_id的文档，用新导入的内容覆盖旧文档，省去了额外的查询开销。

2. 需求是跳过重复数据，不覆盖旧文档 #

这种情况需要提前查询验证，具体步骤：

• 通过Typesense的检索API，用filter_by指定要检查的video_id，判断是否存在对应文档
• 若查询结果为空，再执行导入操作

示例代码（适配你的PHP集合结构） #

// 假设$client是已初始化的Typesense客户端实例
$targetVideoId = 12345; // 要检查的视频ID

$searchParams = [
    'q' => '*',
    'filter_by' => "video_id:={$targetVideoId}",
    'limit' => 1 // 只需要判断是否存在，所以限制返回1条结果
];
$searchResult = $client->collections['videos']->documents->search($searchParams);

if (empty($searchResult['hits'])) {
    // 不存在重复文档，执行导入
    $client->collections['videos']->documents->create([
        'video_id' => $targetVideoId,
        'title' => '示例视频标题',
        'tags' => '教程,技术',
        'date' => 1718000000,
        'secondes' => 120,
        'views' => 0
    ]);
}

批量导入优化 #

如果是批量导入大量文档，建议先拉取集合中所有已存在的video_id（用检索API分批获取，per_page设为1000），在本地过滤掉已存在的ID后再批量导入，减少API请求次数，提升效率。

你的集合结构中primary_key设为video_id的配置完全正确，核心是先明确自己的业务需求（覆盖/跳过），再选择对应的处理方式。

内容的提问来源于stack exchange，提问作者Tahola