Python实现PDF词频统计运行报错TypeError:无法对字节类对象使用字符串模式
报错原因
触发TypeError: cannot use a string pattern on a bytes-like object的核心是re.findall传入的text变量为字节(bytes)类型,而正则匹配用的是字符串模式,二者类型不兼容。
问题出在两处代码逻辑:
- 当PDF能正常提取文本时,你主动执行了
text.encode('ascii','ignore').lower(),encode操作会把字符串转为bytes类型 - 当PDF无法提取文本、走else分支时,
textract.process接口本身返回的就是bytes类型,没有转成字符串
修复方案
替换原代码中以下片段即可:
if text != "": text = text else: text = textract.process('words.txt', method='tesseract', language='eng') text = text.encode('ascii','ignore').lower()
替换为:
if text != "": # 原文本为字符串,编码过滤后转回字符串再转小写 text = text.encode('ascii','ignore').decode('ascii').lower() else: # textract返回字节,直接解码为字符串后转小写,忽略无法识别的字符 text = textract.process('words.txt', method='tesseract', language='eng').decode('ascii','ignore').lower()
修改后text统一为字符串类型,后续re.findall和权重计算逻辑都可以正常运行。如果需要处理含非英文的内容,把代码中的ascii替换为对应的编码格式(如utf-8)即可。
内容的提问来源于stack exchange,提问作者Sean Chinery
相关产品推荐
相关产品推荐

