如何用Python从PostgreSQL检索词序打乱的相似语句？

核心思路 #

要匹配词序不同但单词完全一致（含重复词）的行，关键是将字符串的单词排序后统一比较：把查询字符串和数据库中txt列的内容都处理成排序后的单词拼接字符串，再判断两者是否相等。这种方法能忽略词序差异，精准匹配单词组成完全相同的行。

步骤与代码实现 #

1. 依赖准备 #

先安装PostgreSQL的Python驱动：

pip install psycopg2-binary

2. Python代码实现 #

import psycopg2
import re
from psycopg2 import sql

# 数据库连接配置（根据实际环境修改）
DB_CONFIG = {
    "dbname": "your_database",
    "user": "your_username",
    "password": "your_password",
    "host": "localhost",
    "port": "5432"
}

# 目标查询字符串
TARGET_STR = "the quick brown fox jumps over the lazy dog"

def get_matching_rows():
    # 预处理查询字符串：清理标点、去空词、排序后拼接
    cleaned_target = re.sub(r"[^\w\s]", "", TARGET_STR)
    target_words = [word for word in cleaned_target.split() if word]
    sorted_target = " ".join(sorted(target_words))

    try:
        # 连接数据库
        conn = psycopg2.connect(**DB_CONFIG)
        cur = conn.cursor()

        # 构造SQL：对txt列做相同预处理后与排序后的目标字符串对比
        query = sql.SQL("""
            SELECT txt
            FROM test
            WHERE array_to_string(
                array_sort(
                    array_remove(
                        string_to_array(regexp_replace(txt, '[^\w\s]', '', 'g'), ' '),
                        ''
                    )
                ),
                ' '
            ) = %s
        """)

        # 执行查询
        cur.execute(query, (sorted_target,))
        matching_rows = cur.fetchall()

        # 输出结果
        print("匹配到的行：")
        for idx, row in enumerate(matching_rows, 1):
            print(f"{idx}. {row[0]}")

        return matching_rows

    except psycopg2.Error as e:
        print(f"数据库操作异常：{str(e)}")
    finally:
        # 关闭连接
        if conn:
            cur.close()
            conn.close()

if __name__ == "__main__":
    get_matching_rows()

关键细节说明 #

• 标点清理：用正则[^\w\s]移除所有非单词、非空格字符，避免标点干扰单词拆分。
• 去空词：用array_remove和列表推导移除拆分后产生的空字符串（比如连续空格导致的空元素）。
• 排序对比：通过array_sort对单词数组排序，再拼接成字符串，确保词序不同但单词相同的内容能匹配成功。

扩展：部分匹配场景 #

如果需要允许部分单词匹配（而非完全一致），可以用Jaccard相似度计算匹配度，设定阈值筛选：

SELECT txt,
       (cardinality(array_intersect(
           array_remove(string_to_array(regexp_replace(txt, '[^\w\s]', '', 'g'), ' '), ''),
           array_remove(string_to_array(%s, ' '), '')
       ))::float /
        cardinality(array_union(
           array_remove(string_to_array(regexp_replace(txt, '[^\w\s]', '', 'g'), ' '), ''),
           array_remove(string_to_array(%s, ' '), '')
       ))) AS similarity
FROM test
WHERE similarity >= 0.8  # 设定匹配阈值，比如0.8表示80%单词匹配
ORDER BY similarity DESC;

内容的提问来源于stack exchange，提问作者Shivam Baldha