使用Praw提取Reddit子版块评论遇UnicodeDecodeError问题求助

我帮你拆解下这个问题，大概率是本地文件编码异常或者读取方式不对导致的，咱们一步步来解决：

1. 先定位问题根源 #

你遇到的UnicodeDecodeError: Unexpected end of data，通常是读取subs.txt时，文件里有无法解码的字节，或者文件本身保存不完整（比如中途断存导致末尾字节截断），也可能是文件编码不是程序默认的UTF-8。

2. 针对性解决方案 #

方案一：指定文件编码并处理解码错误

修改文件读取的代码，明确指定UTF-8编码（Reddit的内容和subreddit名称都是UTF-8编码的，文件也应该用这个编码保存），同时添加错误处理避免直接崩溃：

# 打开文件时指定UTF-8编码，无法解码的字符用�替代
with open('subs.txt', 'r', encoding='utf-8', errors='replace') as f: 
    for line in f: 
        string = line.strip()
        if not string:  # 跳过空白行，避免无效请求
            continue
        # 这里直接用已经strip过的string，不用重复处理line
        for submission in reddit.subreddit(string).hot(limit=10): 
            subreddit = reddit.subreddit(string) 
            name = str(subreddit.display_name) 
            # 记得加载完整评论（Praw默认懒加载，需要replace_more）
            submission.comments.replace_more(limit=0)
            for comment in submission.comments.list():
                # 你的情感分析、存数据库逻辑
                pass

方案二：检查并修复本地文件

• 用文本编辑器（比如Notepad++）打开subs.txt，确认文件编码是UTF-8无BOM，如果不是就重新保存为这个编码；
• 检查文件末尾是否有截断的乱码字符，手动删除异常行；
• 确保文件里每行都是有效的subreddit名称，没有多余的特殊符号。

方案三：逐行捕获异常，跳过问题行

如果不确定哪一行出问题，可以添加异常捕获，定位并跳过错误行：

with open('subs.txt', 'r', encoding='utf-8') as f: 
    for line_num, line in enumerate(f, 1):
        try:
            string = line.strip()
            if not string:
                continue
            # 后续爬取逻辑和之前一致
            for submission in reddit.subreddit(string).hot(limit=10):
                subreddit = reddit.subreddit(string)
                name = str(subreddit.display_name)
                submission.comments.replace_more(limit=0)
                for comment in submission.comments.list():
                    # 处理评论
                    pass
        except UnicodeDecodeError as e:
            print(f"第{line_num}行解码失败: {str(e)}，已跳过该行")

额外小优化 #

你原来的代码里subreddit = reddit.subreddit(line.strip())其实可以直接用之前已经处理过的string，没必要重复调用line.strip()，能稍微提升一点效率。

内容的提问来源于stack exchange，提问作者Rachel Solomon