Elasticsearch与Pandas结合报错KeyError: 'AllKeywords'求助

直接错误原因 #

触发KeyError: 'AllKeywords'的核心问题是：
你执行searchDB = searchDB["AllKeywords"].str.split(', ')后，searchDB从DataFrame变成了仅存拆分后关键词列表的Series对象，不再包含原DataFrame的列结构。后续代码searchDB["AllKeywords"]试图访问这个Series不存在的列名，直接抛出KeyError。

其他逻辑问题 #

除了KeyError，原代码还有几处致命逻辑错误：

• Elasticsearch的index参数需要传入ES集群中已存在的索引名称（字符串），而非DataFrame/Series的列数据，原代码这里完全误用了参数。
• 两处pd.read_csv('')的文件路径为空，实际运行必须填入正确的CSV文件路径。
• 使用for i in range(len(df))遍历DataFrame的方式效率低且不规范，建议用iterrows()。

修正后的代码（实现关键词相邻词出现率统计） #

import pandas as pd
from elasticsearch import Elasticsearch

# 初始化Elasticsearch连接
es = Elasticsearch("http://localhost:9200")

# 1. 读取包含关键词序列的CSV（替换为你的实际文件路径）
searchDB = pd.read_csv('your_keywords_source.csv')

# 先检查必要列是否存在，避免后续报错
if "AllKeywords" not in searchDB.columns:
    raise ValueError("CSV文件中不存在'AllKeywords'列，请检查列名拼写或文件内容")

# 拆分关键词序列为列表，同时清理空白字符与空值
searchDB['keyword_list'] = searchDB["AllKeywords"].str.split(', ').apply(lambda x: [kw.strip() for kw in x if kw.strip()])

# 2. 提取所有相邻词对
adjacent_pairs = []
for keywords in searchDB['keyword_list']:
    # 遍历每个关键词序列，生成连续的相邻词对
    for i in range(len(keywords) - 1):
        adjacent_pairs.append((keywords[i], keywords[i+1]))

# 3. 统计相邻词对的出现频率与流行度
pair_stats = pd.Series(adjacent_pairs).value_counts().reset_index()
pair_stats.columns = ['keyword_pair', 'occurrence_count']
pair_stats['popularity'] = pair_stats['occurrence_count'] / pair_stats['occurrence_count'].sum()

# 4. 读取要查询的目标关键词CSV（替换为你的实际文件路径）
target_kw_df = pd.read_csv('your_target_keywords.csv')

if "H" not in target_kw_df.columns:
    raise ValueError("目标关键词CSV中不存在'H'列，请检查列名拼写或文件内容")

# 5. 针对每个目标关键词，输出其相邻词的统计结果
for _, row in target_kw_df.iterrows():
    target_kw = row["H"].strip()
    # 筛选包含目标关键词的相邻词对（作为前词或后词）
    related_stats = pair_stats[pair_stats['keyword_pair'].apply(lambda x: target_kw in x)]
    print(f"关键词「{target_kw}」的相邻词统计：")
    print(related_stats)
    print("---")

# 可选：将统计结果存入Elasticsearch，用于后续检索
# for idx, doc in pair_stats.iterrows():
#     es.index(
#         index='keyword_adjacency',  # 自定义ES索引名称
#         id=idx,
#         body={
#             'keyword_pair': doc['keyword_pair'],
#             'occurrence_count': doc['occurrence_count'],
#             'popularity': doc['popularity']
#         }
#     )

# 可选：从Elasticsearch查询目标关键词的相邻词数据
# for _, row in target_kw_df.iterrows():
#     target_kw = row["H"].strip()
#     res = es.search(
#         index='keyword_adjacency',
#         body={
#             "from": 0, "size": 10,
#             "query": {"match": {"keyword_pair": target_kw}}
#         }
#     )
#     print(f"ES中关键词「{target_kw}」的相邻词结果：")
#     print(res['hits']['hits'])
#     print("---")

关键修正点说明 #

1. 保留原DataFrame结构，新增keyword_list列存储拆分后的关键词列表，避免丢失原数据结构。
2. 正确生成相邻词对，并通过Pandas统计频率与流行度（流行度=当前词对出现次数/总词对次数）。
3. 规范Elasticsearch的使用：若需存入或查询数据，index参数传入正确的索引名称字符串。
4. 增加列存在性检查，提前拦截因CSV列名错误导致的问题。

内容的提问来源于stack exchange，提问作者whyt