使用Python readline()调用AWS Comprehend API仅处理第一行的问题求助

嘿，我瞅见你遇到的麻烦了——用Python读取文本文件传给AWS Comprehend做实体识别时，只有第一行的结果能出来，后面的内容完全没被处理对吧？这问题其实出在你读取文件的方式上，咱们一步步捋清楚：

问题根源 #

你代码里用了f.readline()方法，这个方法只会读取文件的第一行内容，所以传给Comprehend API的自然只有第一行文本，后续行根本没被读进来。另外还有个小细节要注意：Windows路径里的\是转义字符，直接写'c:\myfile.txt'可能会触发转义错误，建议改成原始字符串r'c:\myfile.txt'或者双反斜杠'c:\\myfile.txt'。

解决方案 #

根据你的需求，我给你两种处理方式：

方式1：读取整个文件内容一次性处理 #

如果你的文件内容总长度不超过AWS Comprehend的限制（单请求最大5000字符），可以直接读取整个文件的内容传给API：

import boto3

# 初始化Comprehend客户端，替换成你的AWS区域
client_comprehend = boto3.client('comprehend', region_name='us-east-1')

# 用原始字符串避免路径转义问题
filename = r'c:\myfile.txt'
with open(filename, 'r', encoding='utf-8') as f:
    # 读取整个文件的所有内容
    plain_text = f.read()

# 调用实体识别API
response = client_comprehend.detect_entities(
    Text=plain_text,
    LanguageCode='en'
)

# 提取去重后的实体类型
entities = list(set([x['Type'] for x in response['Entities']]))

print(response)
print(entities)

方式2：逐行处理每一行内容 #

如果你的文件很大，单条内容超过Comprehend的字符限制，或者你需要单独处理每一行的实体，就用逐行读取的方式：

import boto3

# 初始化Comprehend客户端，替换成你的AWS区域
client_comprehend = boto3.client('comprehend', region_name='us-east-1')
filename = r'c:\myfile.txt'

# 用集合来自动去重实体类型
all_entities = set()

with open(filename, 'r', encoding='utf-8') as f:
    # 逐行遍历文件
    for line in f:
        # 去除首尾空白字符，跳过空行
        cleaned_line = line.strip()
        if not cleaned_line:
            continue
        
        # 对当前行调用实体识别API
        response = client_comprehend.detect_entities(
            Text=cleaned_line,
            LanguageCode='en'
        )
        
        # 收集当前行的实体类型
        line_entity_types = [x['Type'] for x in response['Entities']]
        all_entities.update(line_entity_types)
        
        # 可选：打印当前行的处理结果
        print(f"处理行: {cleaned_line}")
        print(f"该行实体: {response['Entities']}\n")

# 输出所有去重后的实体类型
print("所有识别到的实体类型:", list(all_entities))

额外注意事项 #

• 记得把代码里的region_name替换成你实际使用的AWS区域（比如'eu-west-1'）
• AWS Comprehend的detect_entities接口单请求支持的最大文本长度是5000字符，如果你的内容超过这个限制，需要手动拆分文本后再调用API
• 打开文件时指定encoding='utf-8'可以避免大部分乱码问题，尤其是文件包含特殊字符的时候

内容的提问来源于stack exchange，提问作者user9256597