如何让LangChain的RecursiveCharacterTextSplitter仅按分隔符拆分Terraform文件？

核心方法很直接：把chunk_size设成一个远大于你所有Terraform文件内容长度的数值，彻底跳过按大小拆分的逻辑，让自定义分隔符成为唯一的拆分依据。

具体操作步骤：

1. 定义Terraform专属的拆分分隔符，覆盖你需要拆分的顶层块类型：

tf_separators = [
    "\nprovider ",
    "\nresource ",
    "\noutput ",
    "\ndata ",
    "\nmodule ",
    "\nvariable "
]

这里的分隔符包含每个块的起始关键字，前面加换行符是为了避免匹配到代码注释或字符串里的相同内容。

2. 初始化RecursiveCharacterTextSplitter时，配置以下参数：

from langchain.text_splitter import RecursiveCharacterTextSplitter

text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=10**10,  # 超大值，确保不会触发按大小拆分
    chunk_overlap=0,    # 不需要重叠，因为是按逻辑块拆分
    separators=tf_separators,
    keep_separator=True # 保留分隔符，让拆分后的块保持完整的Terraform代码结构
)

关键细节：

• keep_separator=True必须开启，否则拆分出来的块会丢失开头的provider、resource等关键字，破坏代码的完整性
• 分隔符的顺序会影响拆分逻辑，RecursiveCharacterTextSplitter会按列表顺序尝试拆分，所以把最顶层、最需要优先拆分的块放在前面
• 如果需要拆分Terraform里的嵌套块（比如resource内的provisioner），可以把对应的起始符也加入分隔符列表

内容的提问来源于stack exchange，提问作者Ariadna Fernández