中文NLP处理中的停用词去除、词干提取和词形归一化

1. 停用词去除： 中文停用词表可从网上下载，以txt格式存储，使用时先读取文件，将所有的停用词存储到一个列表中，然后对每个句子进行分词，依次判断每个分词是否为停用词，若是则从列表中将其删除。

示例代码：

# 加载停用词表
def load_stop_words():
    stop_words = []
    with open('stop_words.txt', 'r', encoding='utf-8') as f:
        for line in f.readlines():
            stop_words.append(line.strip())
    return stop_words

# 停用词去除
def remove_stop_words(sentence):
    stop_words = load_stop_words()
    words = []
    for word in sentence:
        if word not in stop_words:
            words.append(word)
    return words

2. 词干提取： 中文没有明显的词干形态变化，但可以采用基于规则的方法，比如去掉“的”、“地”、“得”等助词后缀。

示例代码：

# 中文词干提取
def stemming(word):
    if word.endswith('的'):
        return word[:-1]
    elif word.endswith('地') or word.endswith('得'):
        return word[:-1] + word[-2]
    else:
        return word

3. 词形归一化： 中文可以采用基于简化的方法，如将所有的动词、形容词、副词变为其基本形式，如“美丽”的基本形式为“美”。

示例代码：

import jieba.posseg as pseg

# 中文词形归一化
def lemmatization(sentence):
    words = []
    for word, flag in pseg.cut(sentence):
        if 'v' in flag or