如何为马拉地语语料生成可用词云？低资源语言NLP项目实操疑问

不需要从零编写词云生成脚本，基于现有wordcloud库调整配置即可解决马拉地语渲染异常的问题。

问题根源 #

你当前输出乱码的核心原因是wordcloud库默认使用的西文字体不支持马拉地语使用的天城文书写体系，无法正确解析渲染字符。

需要用到的依赖 #

• 基础词云生成：wordcloud、matplotlib
• 印度语言文本预处理：indic-nlp-library（提供马拉地语分词、停用词过滤能力）
• 字体资源：支持天城文的开源字体（比如Noto Sans Devanagari）

具体实现步骤 #

1. 安装依赖包

pip install wordcloud matplotlib indic-nlp-library

2. 准备支持马拉地语的字体文件，将字体文件存到本地可访问的路径
3. 完整实现代码示例：

from PIL import Image
from wordcloud import WordCloud, STOPWORDS, ImageColorGenerator
import matplotlib.pyplot as plt
from indicnlp.tokenize import indic_tokenize
from indicnlp.normalize.indic_normalize import IndicNormalizerFactory
import pandas as pd

# 加载数据集
# data = pd.read_csv("你的马拉地语数据集路径")

# 初始化文本处理器
normalizer = IndicNormalizerFactory().get_normalizer("mr")
# 马拉地语停用词可以自行整理或者使用公开的马拉地语停用词表
mr_stopwords = set(["यह", "हे", "की", "जो", "पर", "तो", "ही", "या", "के", "से", "को", "है", "में", "का", "एक", "और", "कि", "ये", "होता", "कर", "नहीं", "तक", "इस", "वह", "जा", "उसके", "करने", "किया", "लिए", "अगर", "यही", "जैसे", "सभी", "करते", "बहुत", "बाद", "उनके", "यदि", "हुई", "जब", "हो", "इसके", "साथ", "दो", "होने", "वाले", "अपने", "ने", "फिर", "यहां", "उस", "कई", "करें", "होती", "अपनी", "उनका", "इसका", "था", "वे", "इसकी", "उनकी", "तुम", "क्या", "एस", "रहा", "उन", "सब", "रहे", "इसी", "जिस", "में", "हुआ", "आप", "जबकि", "किसके", "यहां", "वहां", "जैसा", "रही", "ताकि", "जहां", "हो", "कुल", "रहे", "इसको", "जितना", "दूसरा", "करता", "उनको", "थी", "थे", "होना", "इसे", "अपना", "उसको", "कहते", "जहां", "करना", "होते", "कर", "ना", "इसके", "था"])

# 预处理所有推文文本
all_text = ""
for tweet in data.tweet:
    # 标准化文本
    normalized_text = normalizer.normalize(tweet)
    # 分词
    tokens = indic_tokenize.trivial_tokenize(normalized_text, lang="mr")
    # 过滤停用词和短字符
    filtered_tokens = [token for token in tokens if token not in mr_stopwords and len(token.strip())>1]
    all_text += " ".join(filtered_tokens) + " "

# 生成词云，指定马拉地语支持的字体路径
wordcloud = WordCloud(
    font_path="你的Noto Sans Devanagari字体文件路径.ttf", # 替换为你本地的字体路径
    width=800,
    height=600,
    background_color="white",
    stopwords=mr_stopwords
).generate(all_text)

# 渲染展示
plt.imshow(wordcloud, interpolation='bilinear')
plt.axis("off")
plt.show()

# 保存词云图片
# wordcloud.to_file("marathi_wordcloud.png")

优化建议 #

• 如果需要更精准的词频统计，可以先统计所有词的出现频率，生成词频字典后调用wordcloud.generate_from_frequencies()方法生成词云，效果会优于直接传入整段文本
• 可以自定义掩码图片、配色方案，适配你的可视化需求

内容的提问来源于stack exchange，提问作者Prajwal Krishna