如何扩展LlamaIndex的输出长度至页数级？

我已成功用LlamaIndex处理私有数据，但它仅能生成约1000字符的输出。我希望将输出扩展至页数级的完整内容，已知可小幅调整token数，但需实现更大篇幅输出，相关代码如下：

llm_predictor = LLMPredictor(llm=OpenAI(temperature=0, model_name="text-davinci-003"))
max_input_size = 4096
num_output = 100
max_chunk_overlap = 20
chunk_size_limit = 600
prompt_helper = PromptHelper(max_input_size, num_output, max_chunk_overlap, chunk_size_limit=chunk_size_limit)
service_context = ServiceContext.from_defaults(llm_predictor=llm_predictor, prompt_helper=prompt_helper)
storage_context = StorageContext.from_defaults(persist_dir="./storage")

documents = []
documents += SimpleDirectoryReader('dataDir1').load_data()
documents += SimpleDirectoryReader('dataDir2').load_data()

index = GPTVectorStoreIndex.from_documents(documents, storage_context=storage_context, service_context=service_context)
storage_context.persist()
query_engine = index.as_query_engine()
resp = query_engine.query("Write a policy that is compliant with XYZ.")
print(resp)

1. 调整输出Token上限 #

当前代码中num_output=100是限制输出长度的核心参数，直接调大该值即可提升单轮输出篇幅。注意max_input_size + num_output不能超过模型的总Token上限（text-davinci-003为4096），合理分配输入输出Token：

# 示例：分配2048Token给输出，剩余给输入
max_input_size = 2048
num_output = 2048

2. 切换长上下文模型 #

text-davinci-003的总Token上限仅4096，换成支持更长上下文的模型可大幅提升输出空间：

# 改用GPT-3.5-turbo-16k（总Token上限16384）
llm_predictor = LLMPredictor(llm=OpenAI(temperature=0, model_name="gpt-3.5-turbo-16k"))
# 对应调整输出Token数
num_output = 8192

3. 使用分层生成策略 #

LlamaIndex的TreeIndex结合tree_summarize响应模式，可实现分块总结、逐层合并的长内容生成，适合页数级文档：

# 替换为TreeIndex
index = GPTTreeIndex.from_documents(documents, service_context=service_context)
# 启用分层总结模式
query_engine = index.as_query_engine(response_mode="tree_summarize")
resp = query_engine.query("Write a complete page-length policy compliant with XYZ.")

4. 优化Chunk配置 #

当前chunk_size_limit=600过小，导致LLM获取的上下文片段零散，调大Chunk尺寸并保持合理重叠度，能让生成内容更连贯完整：

chunk_size_limit = 2000
max_chunk_overlap = 100

5. 明确Prompt指令 #

在查询时明确要求生成完整的页数级内容，引导LLM输出更详尽的内容：

resp = query_engine.query("Write a full page-length policy document compliant with XYZ, including all required sections, clauses, and implementation details.")

内容的提问来源于stack exchange，提问作者Jon