用于推特疾病NER的Gensim自定义Word2Vec词向量所需数据量咨询

针对推特文本训练实用的Word2Vec词向量，数据量需求需结合语料相关性与任务目标，以下是实操层面的建议：

• 基础可用阈值：至少需要100万条推特文本。推特文本短且口语化，单条语义密度低，足够的语料才能覆盖疾病相关的俚语、缩写（如“COVID”“flu”）及推特特有的表达逻辑。
• 精准适配目标：若要让词向量有效支撑疾病实体识别，建议扩充到500万条以上。这个量级能让模型学习到疾病术语在推特语境下的搭配模式（比如“got a bad migraine”“testing positive for COVID”），大幅提升后续NER模型的实体区分能力。
• 领域语料优化：如果能筛选出包含疾病相关关键词的推特子集（如带#Health、#COVID标签，或提及常见疾病名称），即使总量低至300万条，也能训练出更贴合任务的实用词向量——语料的相关性比单纯数量更关键。

额外实操提示：

• 预处理时保留推特特有元素（如含疾病信息的@提及、#标签），过滤纯广告、无意义转发等垃圾文本。
• 训练Word2Vec时适配推特文本特性：设置window=5（适配短文本上下文范围）、min_count=5（过滤低频噪声词）。
• 导入SpaCy时，可将自定义词向量与医学领域预训练模型结合，进一步强化NER效果。

内容的提问来源于stack exchange，提问作者Testik