NLP的词干化和词形还原使用正则表达式分词

在自然语言处理中，词干化和词形还原是常用的文本预处理技术，可以将单词转换为其基本形式，以便更好地进行文本分析和语义理解。在Python中，可以使用正则表达式库re来实现词干化和词形还原。

下面是一个示例代码，展示了如何使用正则表达式进行词干化和词形还原的分词：

import re

def tokenize_text(text):
    # 分词
    words = re.findall(r'\b\w+\b', text.lower())
    return words

def stem_word(word):
    # 词干化
    stem = re.sub(r's$', '', word)  # 去除单词末尾的's'
    return stem

def lemmatize_word(word):
    # 词形还原
    # 在这里可以使用更复杂的规则和词典来实现更准确的词形还原
    lemmatized = re.sub(r's$', '', word)  # 去除单词末尾的's'
    return lemmatized

text = "I am a programmer. I love programming and programmers."

# 分词
tokens = tokenize_text(text)
print("Tokens:", tokens)

# 词干化
stemmed_tokens = [stem_word(word) for word in tokens]
print("Stemmed Tokens:", stemmed_tokens)

# 词形还原
lemmatized_tokens = [lemmatize_word(word) for word in tokens]
print("Lemmatized Tokens:", lemmatized_tokens)

这个示例代码中，首先定义了一个tokenize_text函数，使用正则表达式\b\w+\b将文本分割成单词列表。然后，定义了一个stem_word函数，使用正则表达式s$将单词末尾的's'去除，实现了简单的词干化。最后，定义了一个lemmatize_word函数，也是去除单词末尾的's'，实现了简单的词形还原。

在示例中，我们使用了简单的规则，仅仅是去除单词末尾的's'，实际上，词干化和词形还原还可以使用更复杂的规则和词典来实现更准确的结果。