安全导入文件完整路径、名称及属性至MariaDB的方案咨询（Python3实现）

看起来你要处理的是一个规模不小的文件索引任务——尤其是那个包含400万文件的文件夹，用ls都要等1-2分钟，确实得靠数据库来系统化管理才行。我结合Python3和MariaDB的实践经验，给你梳理几个关键的核心要点，帮你避开乱码、效率低下这些坑：

一、数据库设计：从字符集到索引的关键配置 #

1. 字符集必须用utf8mb4 #

这是处理多语言字符、特殊符号（比如你例子里的Ü、●、中文）的核心前提。MariaDB默认的utf8只支持基本Unicode字符，无法覆盖emoji、罕见 glyphs这类字符，所以创建数据库和表时一定要指定：

CREATE DATABASE IF NOT EXISTS file_index_db 
CHARACTER SET utf8mb4 
COLLATE utf8mb4_unicode_ci;

表的字段会自动继承数据库的字符集设置，无需单独指定。

2. 表结构设计建议 #

针对你的需求，推荐的表字段兼顾查询效率和业务需求：

CREATE TABLE IF NOT EXISTS file_metadata (
    id INT AUTO_INCREMENT PRIMARY KEY,
    full_path VARCHAR(65535) NOT NULL UNIQUE, -- 存完整路径，唯一索引避免重复插入
    file_name VARCHAR(255) NOT NULL, -- 单独存文件名，方便按名称搜索
    file_hash CHAR(64) NOT NULL, -- SHA256哈希值，固定64位字符
    file_size BIGINT NOT NULL, -- 文件大小，用BIGINT避免超大文件溢出
    last_modified DATETIME NOT NULL, -- 最后修改时间
    is_duplicate BOOLEAN DEFAULT FALSE, -- 是否为重复文件
    original_file_id INT NULL, -- 关联原文件的ID（如果是重复）
    FOREIGN KEY (original_file_id) REFERENCES file_metadata(id),
    INDEX idx_file_hash (file_hash), -- 哈希索引，快速找重复
    INDEX idx_file_name (file_name) -- 文件名索引，快速搜索
);

• full_path用VARCHAR(65535)足够覆盖绝大多数系统的最长路径限制；如果你的系统支持超长长路径，换成TEXT也可以。
• file_hash用CHAR(64)是因为SHA256的输出是固定64位十六进制字符串，比TEXT更节省空间且查询更快。

3. 索引优化 #

• 给full_path加唯一索引：避免同一个文件被重复插入。
• 给file_hash加普通索引：这是快速识别重复文件的关键，不然每次查重复都要全表扫描，400万数据会慢到离谱。
• 给file_name加普通索引：方便你后续按文件名模糊搜索。

二、Python3处理细节：避开乱码和低效陷阱 #

1. 正确处理Unicode文件路径 #

Python3默认用Unicode字符串处理文件路径，尽量用pathlib或者os.scandir来遍历文件，不要用os.listdir（它在某些场景下会返回字节串，需要手动解码）。比如用pathlib的写法：

from pathlib import Path

for file_path in Path('/home/test/Music').rglob('*'):
    if file_path.is_file():
        # 处理文件
        print(file_path) # 直接拿到的是Unicode字符串，支持所有特殊字符

2. 数据库连接指定utf8mb4 #

不管用pymysql还是mysql-connector-python，连接时一定要指定字符集为utf8mb4，否则插入的特殊字符会变成乱码：

import pymysql

db_conn = pymysql.connect(
    host='localhost',
    user='your_user',
    password='your_pass',
    database='file_index_db',
    charset='utf8mb4' # 关键配置
)

3. 高效计算文件哈希 #

超大文件不要一次性读入内存，分块读取计算哈希，避免内存溢出：

import hashlib

def compute_sha256(file_path):
    sha256 = hashlib.sha256()
    try:
        with open(file_path, 'rb') as f:
            while chunk := f.read(4096): # 每次读4KB
                sha256.update(chunk)
        return sha256.hexdigest()
    except PermissionError:
        print(f"无权限读取文件：{file_path}")
        return None

4. 批量插入提升效率 #

400万文件单条插入会慢到崩溃，一定要用executemany批量插入，比如每次插1000条：

def batch_insert(conn, metadata_list):
    cursor = conn.cursor()
    sql = """
        INSERT INTO file_metadata 
        (full_path, file_name, file_hash, file_size, last_modified)
        VALUES (%s, %s, %s, %s, %s)
        ON DUPLICATE KEY UPDATE last_modified = VALUES(last_modified)
    """
    # 把metadata转成tuple列表
    data = [
        (m['full_path'], m['file_name'], m['file_hash'], m['file_size'], m['last_modified'])
        for m in metadata_list
    ]
    cursor.executemany(sql, data)
    conn.commit()
    cursor.close()

ON DUPLICATE KEY UPDATE是为了处理文件修改的情况——如果文件路径不变但内容/修改时间变了，自动更新记录。

三、重复文件处理：复制还是链接？ #

1. 先识别重复 #

插入前先查数据库里有没有相同哈希的文件：

def check_duplicate(conn, file_hash, current_path):
    cursor = conn.cursor()
    cursor.execute(
        "SELECT id FROM file_metadata WHERE file_hash = %s AND full_path != %s",
        (file_hash, current_path)
    )
    result = cursor.fetchone()
    cursor.close()
    return result[0] if result else None

如果返回了ID，就标记当前文件为重复，并关联原文件ID；如果没返回，就插入新记录。

2. 文件复制/链接的实现 #

• 复制文件并保留结构：用shutil.copytree配合自定义忽略规则，或者手动遍历路径，创建目录后用shutil.copy2复制（保留元数据）。
• 创建硬链接：同一个文件系统下可以用os.link(src, dst)，硬链接和原文件共享存储空间，节省磁盘。
• 创建软链接：跨文件系统用os.symlink(src, dst)，但要注意原文件删除后软链接会失效。

四、超大文件夹扫描的效率优化 #

• 用os.scandir代替os.walk：os.scandir直接返回文件的元数据（大小、修改时间），不用额外调用os.stat，速度能提升2-3倍。
• 多线程/多进程处理：文件扫描是IO密集型任务，用多线程可以提升效率；如果是计算哈希（CPU密集），可以用多进程。注意数据库连接要线程安全，最好用连接池。
• 进度可视化：用tqdm显示扫描进度，方便你知道处理到哪里了：

from tqdm import tqdm

for file_path in tqdm(Path('/home/test/Music').rglob('*'), desc="扫描文件"):
    if file_path.is_file():
        # 处理逻辑

备注：内容来源于stack exchange，提问作者Kendrick