LangChain与OpenAI集成问题：无法解决的UnicodeEncodeError错误

错误原因分析 #

报错指向http.client的putheader方法无法用latin-1编码\u2018字符，这个字符是智能左单引号（常见于复制粘贴的富文本内容）。问题出在LangChain与OpenAI API交互时，请求头或参数中混入了latin-1不支持的特殊字符，导致编码失败。

具体解决方案 #

1. 显式指定TextLoader编码 #

默认情况下TextLoader可能使用系统默认编码加载文件，显式指定UTF-8可避免加载阶段的编码混乱：

from langchain.document_loaders import TextLoader
from langchain.indexes import VectorstoreIndexCreator
import os
import openai

api_key = os.environ['OPENAI_API_KEY']
openai.api_key = api_key

# 显式指定utf-8编码加载文件
loader = TextLoader('test.txt', encoding='utf-8')
index = VectorstoreIndexCreator().from_loaders([loader])

query = "What do whales like to eat?"
index.query_with_sources(query)

2. 清理文档中的特殊字符 #

如果test.txt包含智能引号、特殊符号等非ASCII字符，可通过两种方式处理：

• 手动修改：把‘’“”这类智能引号替换成普通的''""，删除其他特殊符号；
• 代码自动处理：自定义加载器清理文本

from langchain.document_loaders import TextLoader
from langchain.indexes import VectorstoreIndexCreator
import os
import openai
import unicodedata

api_key = os.environ['OPENAI_API_KEY']
openai.api_key = api_key

def clean_special_chars(text):
    # 替换智能引号为普通引号
    text = text.replace('\u2018', "'").replace('\u2019', "'")
    text = text.replace('\u201c', '"').replace('\u201d', '"')
    # 移除latin-1无法编码的字符
    return unicodedata.normalize('NFKD', text).encode('latin-1', 'ignore').decode('latin-1')

class CleanTextLoader(TextLoader):
    def load(self):
        docs = super().load()
        for doc in docs:
            doc.page_content = clean_special_chars(doc.page_content)
        return docs

loader = CleanTextLoader('test.txt', encoding='utf-8')
index = VectorstoreIndexCreator().from_loaders([loader])

query = "What do whales like to eat?"
index.query_with_sources(query)

3. 更新依赖包 #

可能是LangChain或OpenAI的版本bug导致编码处理逻辑异常，更新到最新版本：

pip install --upgrade langchain openai

问题突发原因 #

大概率是test.txt内容被无意中修改（比如粘贴了带富文本格式的内容），或是Codespaces环境中的依赖包自动更新，导致编码处理逻辑变化。

内容的提问来源于stack exchange，提问作者user1686136