正则表达式无法泛化：如何匹配含/不含Bearer的认证令牌？

核心正则表达式 #

针对日志中两种场景（带Bearer 前缀、无前缀）的认证令牌，可使用以下泛化正则：

(?:Bearer\s)?([A-Za-z0-9-_]+\.[A-Za-z0-9-_]+\.[A-Za-z0-9-_]+)

正则说明 #

• (?:Bearer\s)?：非捕获组，标记Bearer 前缀为可选匹配项（?表示该组出现0或1次），不占用捕获结果
• ([A-Za-z0-9-_]+\.[A-Za-z0-9-_]+\.[A-Za-z0-9-_]+)：捕获组，匹配典型的JWT格式令牌（三段式结构，由.分隔）；若你的令牌是其他格式（如纯随机字符串），可调整此处的字符范围与结构，例如纯32位字母数字可改为([A-Za-z0-9]{32})
• 若需精准匹配单行完整令牌（而非日志片段），可添加首尾锚点：^(?:Bearer\s)?([A-Za-z0-9-_]+\.[A-Za-z0-9-_]+\.[A-Za-z0-9-_]+)$

解决regex101与Python的匹配差异 #

跨平台匹配不一致问题，大概率是以下原因导致：

1. 锚点设置：若日志中令牌并非单独一行，regex101中使用^/$锚点会导致匹配失败，此时需移除锚点，改用单词边界\b限定令牌范围：

   \b(?:Bearer\s)?([A-Za-z0-9-_]+\.[A-Za-z0-9-_]+\.[A-Za-z0-9-_]+)\b
   

2. 匹配模式：确保regex101的匹配模式与Python代码一致，避免开启多行模式（m flag）或单行模式（s flag）引发行为差异

Python代码示例 #

import re

# 模拟日志行
log_entries = [
    "Request authorized with Bearer eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJzdWIiOiIxMjM0NTY3ODkwIiwibmFtZSI6IkpvaG4gRG9lIiwiaWF0IjoxNTE2MjM5MDIyfQ.SflKxwRJSMeKKF2QT4fwpMeJf36POk6yJV_adQssw5c",
    "Unauthorized attempt using token eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJzdWIiOiIxMjM0NTY3ODkwIiwibmFtZSI6IkpvaG4gRG9lIiwiaWF0IjoxNTE2MjM5MDIyfQ.SflKxwRJSMeKKF2QT4fwpMeJf36POk6yJV_adQssw5c"
]

# 编译正则
token_pattern = re.compile(r'(?:Bearer\s)?([A-Za-z0-9-_]+\.[A-Za-z0-9-_]+\.[A-Za-z0-9-_]+)')

# 提取令牌
for entry in log_entries:
    match_result = token_pattern.search(entry)
    if match_result:
        print(f"提取到的认证令牌: {match_result.group(1)}")

内容的提问来源于stack exchange，提问作者bruvio