如何使用Python获取实时更新的浏览器历史记录，解决browser-history刷新慢问题

问题根源 #

• browser-history包默认每次调用都会全量遍历所有已安装浏览器的历史数据库文件，没有增量查询逻辑，本身运行开销大
• 主流浏览器（Chrome、Edge、Firefox等）的新访问记录会先存在内存缓存中，不会实时写入本地SQLite历史文件，只有当标签页关闭、浏览器定时刷盘（通常间隔几秒到几十秒）时才会落盘，这是读不到最新记录的核心原因

优化方案 #

1. 针对指定浏览器直接读取历史文件，避免全量扫描 #

不要用browser-history的全量获取接口，直接指定你要读取的浏览器的历史文件路径，只读取目标文件，减少不必要的IO开销。
以Chrome为例，Windows下历史文件路径为C:\Users\<你的用户名>\AppData\Local\Google\Chrome\User Data\Default\History，macOS下为/Users/<你的用户名>/Library/Application Support/Google/Chrome/Default/History，Linux下为/home/<你的用户名>/.config/google-chrome/Default/History。

注意：读取前需要先把历史文件复制一份临时副本，因为浏览器运行时会对原文件加锁，直接读会报错
示例代码：

import os
import sqlite3
import shutil
import time

# 替换为你的Chrome历史文件路径
CHROME_HISTORY_PATH = r"C:\Users\xxx\AppData\Local\Google\Chrome\User Data\Default\History"
TEMP_HISTORY_PATH = "./chrome_temp_history"

def get_latest_chrome_history(last_timestamp=0):
    # 复制临时文件避免锁冲突
    if os.path.exists(TEMP_HISTORY_PATH):
        os.remove(TEMP_HISTORY_PATH)
    shutil.copy2(CHROME_HISTORY_PATH, TEMP_HISTORY_PATH)
    
    conn = sqlite3.connect(TEMP_HISTORY_PATH)
    cursor = conn.cursor()
    # 只查询时间戳大于上次查询的记录，实现增量获取
    cursor.execute("""
        SELECT url, title, visit_time/1000000 as visit_time
        FROM urls 
        WHERE visit_time > ?
        ORDER BY visit_time DESC
    """, (last_timestamp,))
    records = cursor.fetchall()
    conn.close()
    os.remove(TEMP_HISTORY_PATH)
    return records

if __name__ == "__main__":
    last_ts = 0
    while True:
        new_records = get_latest_chrome_history(last_ts)
        if new_records:
            # 更新最新时间戳
            last_ts = new_records[0][2]
            for record in new_records:
                print(f"访问时间：{time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(record[2]))}，标题：{record[1]}，URL：{record[0]}")
        # 可以根据需求调整查询间隔，最小可以到1秒
        time.sleep(1)

2. 完全实时获取方案（可选） #

如果需要获取刚打开还没关闭的标签页的记录，可以针对浏览器开启调试端口，通过浏览器远程调试接口直接读取内存中的历史记录，不需要等文件落盘。
以Chrome为例，启动时加上参数--remote-debugging-port=9222，之后可以通过本地调试接口获取当前所有打开的标签页的实时URL，再结合历史文件的读取，就能做到完全实时的历史获取。
示例调试接口读取代码：

import requests

def get_current_open_tabs():
    try:
        res = requests.get("http://localhost:9222/json")
        tabs = res.json()
        return [tab["url"] for tab in tabs if tab["type"] == "page"]
    except:
        return []

注意事项 #

• 不同浏览器的历史文件路径、表结构都不一样，Firefox的历史文件是places.sqlite，查询语句需要对应调整
• 不要把查询间隔设置得太短（低于1秒），否则频繁复制文件会占用过多IO资源
• 如果使用远程调试接口，要确保浏览器启动时已经加了对应的调试端口参数

内容的提问来源于stack exchange，提问作者bituniverse