如何用Python从德语文本中提取日期与时间表达式？

1. 使用带DATE实体的预训练德语NER模型（Hugging Face Transformers） #

不少Hugging Face上的德语NER模型扩展了DATE实体类型，基于BERT的微调模型可直接用于抽取德语日期时间表达式，能覆盖大部分具体日期和常见相对时间场景。

示例代码：

from transformers import pipeline

# 加载支持DATE实体的德语NER模型
ner_pipeline = pipeline(
    "ner",
    model="dbmdz/bert-base-german-cased-ner-hrl",
    tokenizer="dbmdz/bert-base-german-cased-ner-hrl"
)

# 测试文本
text = """Es ist der 1. Januar 2020. Gestern hat es geschneit. Ich komme nächste Woche und treffe dich am 2023-02-28."""

# 抽取并整理DATE实体
date_entities = []
current_date = ""
current_start = None
for entity in ner_pipeline(text):
    if entity["entity"].startswith(("B-DATE", "I-DATE")):
        if entity["entity"].startswith("B-DATE"):
            if current_date:
                date_entities.append((current_start, entity["end"], current_date))
            current_date = entity["word"]
            current_start = entity["start"]
        else:
            current_date += " " + entity["word"]
if current_date:
    date_entities.append((current_start, entity["end"], current_date))

# 输出结果
for start, end, date in date_entities:
    print(f"日期时间表达式: '{text[start:end]}'")

2. 正则表达式+德语时间词汇规则匹配 #

针对德语日期的固定格式和常见相对时间词汇，编写正则规则结合词汇匹配，快速覆盖多数场景，再用dateutil做标准化解析。

示例代码：

import re
from dateutil.parser import parse

# 德语日期正则规则集合
date_patterns = [
    # 具体日期格式：DD. MMMM YYYY、DD.MM.YYYY、YYYY-MM-DD
    r'\b\d{1,2}\.\s*(Januar|Februar|März|April|Mai|Juni|Juli|August|September|Oktober|November|Dezember)\s*\d{4}\b',
    r'\b\d{1,2}\.\d{1,2}\.\d{2,4}\b',
    r'\b\d{4}-\d{2}-\d{2}\b',
    # 相对时间词汇
    r'\b(Gestern|Heute|Morgen|Übermorgen|Vorgestern)\b',
    r'\b(nächste|letzte)\s*(Woche|Wochenende|Monat|Jahr)\b',
    r'\b(in\s*\d+\s*(Tagen|Wochen|Monaten|Jahren))\b',
]

def extract_german_dates(text):
    extracted = []
    for pattern in date_patterns:
        matches = re.finditer(pattern, text, re.IGNORECASE)
        for match in matches:
            date_str = match.group()
            try:
                # 尝试解析为标准日期，相对时间可能无法直接解析
                parsed_date = parse(date_str, languages=['de'])
                extracted.append((date_str, parsed_date))
            except:
                # 无法解析的相对时间保留原字符串
                extracted.append((date_str, None))
    return extracted

# 测试
text = """Es ist der 1. Januar 2020. Gestern hat es geschneit. Ich komme nächste Woche und treffe dich am 2023-02-28."""
dates = extract_german_dates(text)
for date_str, parsed in dates:
    if parsed:
        print(f"提取到: '{date_str}' -> 标准化日期: {parsed.date()}")
    else:
        print(f"提取到相对时间: '{date_str}'")

3. 自定义训练德语DATE NER模型（spaCy） #

如果现有模型无法满足特定场景需求，可基于spaCy训练自定义德语DATE实体识别模型，核心步骤如下：

1. 准备标注数据集：使用现有德语时间语料（如TimeML德语数据集）或手动标注一批包含日期时间的德语文本，格式遵循(text, {"entities": [(start, end, "DATE")]})
2. 基于空白德语模型或预训练德语模型，添加NER组件并训练DATE标签

示例训练框架：

import spacy
from spacy.training import Example
from spacy.util import minibatch, compounding

# 初始化空白德语模型
nlp = spacy.blank("de")
ner = nlp.add_pipe("ner")
ner.add_label("DATE")

# 示例训练数据（实际需扩充至足够量级）
TRAIN_DATA = [
    ("Es ist der 1. Januar 2020.", {"entities": [(11, 26, "DATE")]}),
    ("Gestern hat es geschneit.", {"entities": [(0, 7, "DATE")]}),
    ("Ich komme nächste Woche.", {"entities": [(12, 25, "DATE")]}),
    ("Treffen wir uns am 2023-02-28.", {"entities": [(18, 28, "DATE")]}),
]

# 训练循环
optimizer = nlp.begin_training()
for itn in range(10):
    losses = {}
    batches = minibatch(TRAIN_DATA, size=compounding(4.0, 32.0, 1.001))
    for batch in batches:
        for text, annotations in batch:
            doc = nlp.make_doc(text)
            example = Example.from_dict(doc, annotations)
            nlp.update([example], sgd=optimizer, losses=losses)
    print(f"Iteration {itn+1}, Losses: {losses}")

# 保存并加载模型
nlp.to_disk("./de_date_ner_model")
nlp_loaded = spacy.load("./de_date_ner_model")

# 测试模型
doc = nlp_loaded("Es ist der 15. März 2024 und ich komme nächste Woche.")
for ent in doc.ents:
    if ent.label_ == "DATE":
        print(f"提取到DATE实体: '{ent.text}'")

训练时建议结合预训练德语模型作为基础，同时扩充标注数据量，可达到接近英文模型的识别效率。

内容的提问来源于stack exchange，提问作者Levin