如何将Token列表匹配Pandas情感词典的结果存入新DataFrame

你可以通过以下几种方式将匹配结果存入新的DataFrame，根据需求选择合适的方法：

方法1：提取所有匹配词的情感行（去重） #

如果不需要保留tokensList中的重复词，只需要所有出现过的匹配词对应的情感条目，直接用isin筛选即可，效率最高：

import pandas as pd

# 筛选词典中存在于tokensList的所有行
new_df = df_lexicon[df_lexicon['word'].isin(tokensList)].reset_index(drop=True)

注：该方法会自动去重，同一个词即使在tokensList中出现多次，在新DataFrame里只会保留一次该词的所有情感行

方法2：保留tokensList的重复顺序与条目 #

如果需要和tokensList的顺序完全一致，且重复词对应的情感行也重复出现（比如tokensList里有两个study，新DataFrame会包含两次study的所有情感行），可以用以下两种方式：

方式A：循环拼接（直观易懂） #

import pandas as pd

matched_rows = []
for token in tokensList:
    # 获取当前token对应的所有情感行
    matched = df_lexicon[df_lexicon['word'] == token]
    # 若有匹配结果则加入列表
    if not matched.empty:
        matched_rows.append(matched)

# 拼接所有行生成新DataFrame
new_df = pd.concat(matched_rows, ignore_index=True)

方式B：Merge连接（大数据场景更高效） #

先将tokensList转为DataFrame，再与情感词典做内连接：

import pandas as pd

# 将token列表转为DataFrame
tokens_df = pd.DataFrame({'word': tokensList})
# 内连接匹配，保留所有token对应的情感行
new_df = tokens_df.merge(df_lexicon, on='word', how='inner').reset_index(drop=True)

内容的提问来源于stack exchange，提问作者Vahid