从YouTube WebVTT字幕提取纯文本及重复字幕成因咨询

我之前处理YouTube字幕的时候也碰到过一模一样的问题，来给你详细拆解下：

为什么YouTube会生成重复字幕？ #

YouTube的自动WebVTT字幕出现重复条目，主要是这几个原因导致的：

• 样式拆分逻辑：WebVTT支持给文本片段加样式（比如用颜色区分不同说话人），哪怕是完全相同的文本，只要样式属性变化，就会被拆成单独的条目，看起来像是重复内容。
• ASR识别的冗余处理：自动语音识别（ASR）在处理口语化内容时，遇到重复发音、停顿、语气词，会把同一段文本拆成多个短时长条目，比如说话人重复某个词，ASR会生成多组对应时间戳的条目。
• 生成机制的微小偏移：YouTube字幕引擎在处理连续相同语音时，可能因为时间戳的细微偏差，生成类似0.01秒时长的重复条目，这类大多是无效的冗余内容。

提取纯文本字幕的最优方法 #

结合你已经尝试的方案，这里给你几个更完善的解决思路：

1. 基于webvtt-py的过滤+合并方案 #

你之前忽略0.01秒条目是个好起点，但还需要处理文本重叠的情况。可以用webvtt-py解析后，合并文本相同且时间连续/重叠的条目，同时过滤极短时长的无效内容。给你一段实用的代码：

from webvtt import WebVTT

def clean_duplicate_subs(input_vtt, output_vtt):
    vtt = WebVTT().read(input_vtt)
    cleaned_entries = []
    prev_entry = None

    for entry in vtt:
        # 过滤时长小于0.1秒的无效条目（阈值可根据实际调整）
        duration = entry.end_in_seconds - entry.start_in_seconds
        if duration < 0.1:
            continue
        
        current_text = entry.text.strip()
        # 如果当前条目和上一条文本完全相同，合并时间范围
        if prev_entry and current_text == prev_entry.text.strip():
            prev_entry.end = entry.end  # 更新结束时间为当前条目的结束时间
        else:
            cleaned_entries.append(entry)
            prev_entry = entry
    
    # 写入清理后的字幕文件
    with open(output_vtt, 'w', encoding='utf-8') as f:
        f.write('WEBVTT\n\n')
        for entry in cleaned_entries:
            f.write(f"{entry.start} --> {entry.end}\n{entry.text}\n\n")

# 调用示例
clean_duplicate_subs('original_subs.vtt', 'cleaned_subs.vtt')

2. 直接提取无样式的字幕格式 #

如果不需要保留样式信息，你可以跳过WebVTT，直接让youtube-dl（或更活跃的替代工具yt-dlp）生成SRT或纯文本格式的字幕，这些格式本身就不会包含样式拆分导致的重复条目：

• 使用youtube-dl：youtube-dl --write-auto-sub --sub-format=srt
• 使用yt-dlp（推荐）：yt-dlp --write-auto-sub --sub-format=txt

生成的SRT/TXT字幕会自动合并重复的文本片段，能大幅减少后续处理的工作量。

3. 处理文本重叠的特殊情况 #

如果是不同文本的重叠（比如多说话人同时发言），可以根据需求选择：

• 保留所有条目，按时间顺序排列；
• 只保留时长较长的条目，过滤短时长的重叠片段；
• 合并重叠时段的文本，用换行或分隔符区分不同内容。

内容的提问来源于stack exchange，提问作者qwr