如何从医学期刊提取外科专科词汇生成填字游戏专用词表

第一步：批量获取干净的期刊文本（优先选零爬虫路径，省80%工作量） #

• 优先走EndNote导出路径，完全不用写爬虫踩反爬坑：把筛选好的骨科、心脏外科、人体解剖方向的期刊文献在EndNote里按三个专科分文件夹归类，选中对应分类的文献直接导出为纯文本TXT，导出时只勾选「标题、摘要、关键词」三个字段即可，不用导出全文。这三个部分出现的术语都是核心高频词，不会出现过于冷僻的细分术语，完全满足填字游戏的词量需求。
• 如果需要补充在线期刊内容，不用写复杂爬取逻辑，直接用浏览器把期刊网页另存为本地HTML文件，用BeautifulSoup只提取正文内容存为TXT即可，核心代码只有3行，不用配置请求头、代理这类复杂参数：

from bs4 import BeautifulSoup
with open("本地保存的网页文件.html", "r", encoding="utf-8") as f:
    clean_text = BeautifulSoup(f.read(), "html.parser").get_text()

• 已下载的PDF文献直接用批量PDF转TXT工具转换即可，不用写Python代码处理，转完批量删掉页眉页脚的期刊名、页码、广告这类重复内容，避免干扰后续词频统计。

第二步：词汇提取与初步过滤（全程用pandas即可实现，无需学习新工具） #

• 先把所有整理好的TXT文本按专科分存在三个独立文件夹，比如ortho（骨科）、cardiac（心外科）、anatomy（解剖），安装jieba分词（直接执行pip install jieba即可）做词汇切分，jieba自带基础医学词典，不需要额外训练模型。配合通用现代汉语常用词表（存为CSV格式，每行一个常用词即可）做过滤，核心代码如下：

import os
import jieba
import pandas as pd
# 加载通用常用词表
common_words = set(pd.read_csv("现代汉语常用词表.csv")["word"].tolist())

def get_freq_df(folder_path):
    all_terms = []
    for file in os.listdir(folder_path):
        if file.endswith(".txt"):
            with open(os.path.join(folder_path, file), "r", encoding="utf-8") as f:
                content = f.read()
                # 过滤规则：只保留2-4字长度、不在通用词表内的词，适配填字游戏格子长度
                cut_terms = [w for w in jieba.lcut(content) if 2 <= len(w) <=4 and w not in common_words]
                all_terms.extend(cut_terms)
    # 用pandas统计词频，按出现次数降序排列
    freq_df = pd.Series(all_terms).value_counts().reset_index()
    freq_df.columns = ["term", "freq"]
    return freq_df

• 初步过滤直接通过代码规则完成：① 剔除通用常用词表中的非专业词汇；② 只保留2-4字长度的词，过长术语不适合填字游戏使用；③ 直接删除词频低于3次的词汇，这类就是出现率极低的冷僻术语，无需人工逐一甄别。

第三步：专科词表规范（单专科15分钟即可筛完，无需复杂NLP工具） #

• 把上一步生成的三个专科词频表导出为Excel，每个表只保留前200个高频词即可，单期填字游戏的词汇需求量不超过50个，留足4倍备选量完全够用。
• 人工筛选仅需剔除三类内容：① 非医学术语的科研通用词，比如「研究」「疗效」「观察」这类；② 跨专科通用的泛医学词汇，比如「手术」「切口」「麻醉」这类不属于某一专科专属的词；③ 分词错误产生的无意义碎片词组。
• 筛选完成后补充每个词汇对应的简短提示释义，整理成「词汇+释义」两列的格式，可直接导入Crossword Compiler使用，无需额外做格式转换。

踩坑提示：不要尝试爬取期刊全文内容，摘要、关键词部分的术语核心度最高，全文会混杂大量药品名、设备名、统计学术语，反而会大幅增加过滤工作量。也不用折腾专业医学实体识别工具，对Python基础薄弱的使用者来说，仅环境配置就要花费数小时，最终识别结果错漏率还高，远不如词频统计加短时间人工筛选的效率和准确率高。

内容的提问来源于stack exchange，提问作者capnahab