基于多条件筛选语音识别CSV数据集的技术实现问询

我来帮你搞定这个需求——结合你已经拿到所有CSV文件路径的基础，给你一套灵活可复用的多参数查询逻辑，专门用来筛选符合条件的语音数据集名称（也就是CSV文件名）。

核心思路 #

首先明确：你要的是数据集本身符合条件（比如整个数据集是英文男声、48kHz采样率），而不是筛选CSV里的单条样本。所以不需要遍历所有行（除非你的数据集里混了不同属性的样本），通常语音数据集的元数据是统一的，只需要检查目标列的属性值即可。

下面分三种常见场景给出代码：

场景1：每个CSV对应属性统一的数据集（最常用） #

这种情况是绝大多数语音数据集的状态——一个CSV里的所有样本都是同一语言、性别、采样率。我们只需要读取CSV的前几行（节省内存），检查目标列的唯一值是否匹配条件：

import os
import pandas as pd
import fnmatch

def filter_speech_datasets(csv_folder_path, query_params):
    """
    多条件筛选符合要求的语音数据集名称
    :param csv_folder_path: 存放所有CSV数据集的文件夹路径
    :param query_params: 查询条件字典，比如 {'Language': 'en', 'Gender': 'Male', 'Sample rate': 48000}
    :return: 符合条件的数据集文件名列表
    """
    matched_datasets = []
    
    # 拿到所有CSV文件的完整路径（你已经实现这部分，这里整合进来）
    all_csv_paths = [
        os.path.join(csv_folder_path, filename)
        for filename in os.listdir(csv_folder_path)
        if fnmatch.fnmatch(filename, "*.csv")
    ]
    
    for csv_path in all_csv_paths:
        # 只读取前5行，避免加载大文件浪费内存（属性统一的话前几行就能代表整个数据集）
        df = pd.read_csv(csv_path, nrows=5)
        is_match = True
        
        # 逐个检查每个查询条件
        for column, target_value in query_params.items():
            # 先确认当前CSV有这个列
            if column not in df.columns:
                is_match = False
                break
            # 取该列的唯一值（因为属性统一，唯一值应该只有一个）
            unique_values = df[column].unique()
            # 检查目标值是否在唯一值里（兼容少量异常行的情况）
            if target_value not in unique_values:
                is_match = False
                break
        
        if is_match:
            # 提取不带路径的数据集文件名
            dataset_name = os.path.basename(csv_path)
            matched_datasets.append(dataset_name)
    
    return matched_datasets

# 调用示例
if __name__ == "__main__":
    # 替换成你的CSV文件夹路径
    YOUR_CSV_DIR = "./your_speech_datasets"
    # 自定义查询条件，可随时修改参数
    search_conditions = {
        "Language": "en",
        "Gender": "Male",
        "Sample rate": 48000
    }
    
    # 获取结果
    valid_datasets = filter_speech_datasets(YOUR_CSV_DIR, search_conditions)
    
    # 输出结果
    print("符合条件的语音数据集：")
    for name in valid_datasets:
        print(f"- {name}")

场景2：CSV包含混合属性样本，需筛选存在符合条件样本的数据集 #

如果你的数据集里混了不同属性的样本，只要该数据集里有符合条件的样本就算通过，修改条件检查逻辑即可：

# 替换场景1中的条件检查块
is_match = True
for column, target_value in query_params.items():
    if column not in df.columns:
        is_match = False
        break
    # 检查是否有任意一行符合该条件
    if not df[column].eq(target_value).any():
        is_match = False
        break

场景3：要求数据集所有样本都符合条件 #

如果严格要求整个数据集的每一条样本都满足所有条件，用all()替代any()：

# 替换场景1中的条件检查块
is_match = True
for column, target_value in query_params.items():
    if column not in df.columns:
        is_match = False
        break
    # 检查所有行是否都符合该条件
    if not df[column].eq(target_value).all():
        is_match = False
        break

实用优化建议 #

• 如果你有超大CSV文件，可以用pd.read_csv(csv_path, chunksize=1000)分块读取，避免内存溢出。
• 可以给函数加一个可选参数，比如check_all_samples，让函数自动切换上述三种场景的逻辑，进一步提升灵活性。
• 如果你的CSV列名有大小写差异（比如language和Language），可以在读取后统一转成小写，避免匹配失败。

内容的提问来源于stack exchange，提问作者Niraj D Pandey