大表中单列唯一值高效获取方法咨询

针对大表中某列唯一值查询慢的问题，你可以试试这些高效方案：

• 利用数据库统计信息快速获取近似/常见值
  很多数据库会维护表的统计信息，能快速拿到列的常见唯一值（部分数据库支持）：

  • PostgreSQL：

    SELECT most_common_vals FROM pg_stats WHERE tablename = 'table1' AND attname = 'col1';
    

  • MySQL：

    SELECT * FROM INFORMATION_SCHEMA.STATISTICS WHERE TABLE_NAME = 'table1' AND COLUMN_NAME = 'col1';
    

  注意：统计信息是近似值，适合快速了解列的取值范围，若需要精确全量值，看后续方法。

• 分批分页查询
  避免一次性扫描全表，按列排序分批获取唯一值，直到返回空结果：

  SELECT DISTINCT col1 FROM table1 ORDER BY col1 LIMIT 1000 OFFSET 0;
  

  逐步调整OFFSET值（比如1000、2000...），分批收集结果。如果列没有索引，ORDER BY会较慢，优先考虑加临时索引。

• 创建临时索引加速查询
  给目标列创建临时索引，数据库可以直接扫描索引而非全表，大幅提升DISTINCT/GROUP BY的速度：

  -- 创建临时索引
  CREATE INDEX idx_temp_col1 ON table1(col1);
  -- 查询唯一值
  SELECT DISTINCT col1 FROM table1;
  -- 用完后删除索引（可选，避免占用空间）
  DROP INDEX idx_temp_col1 ON table1;
  

  注意：生产环境创建索引要选低峰期，避免影响业务。

• 开启并行查询（部分数据库支持）
  让数据库用多进程并行处理查询，比如PostgreSQL可以先设置并行参数再执行查询：

  SET max_parallel_workers_per_gather = 4; -- 根据服务器配置调整数量
  SELECT DISTINCT col1 FROM table1;
  

• 导出到外部工具去重
  如果数据库端压力过大，先导出列数据到本地文件，再用外部工具去重：

  # MySQL示例：导出col1数据
  mysqldump -u username -p your_db table1 --no-create-info --skip-triggers --columns=col1 > col1_data.txt
  # Linux下用sort去重
  sort -u col1_data.txt > unique_col1.txt
  

内容的提问来源于stack exchange，提问作者Saguro