求推荐集成多款开源代码生成LLM的即插即用Python框架

以下是符合你需求的Python实现工具，均已预配置10款以上主流代码生成LLM，支持简单函数调用并导出JSON格式响应：

• CodeLlama Evaluation Suite: 集成15+主流代码LLM（含CodeLlama系列、StarCoder、CodeGen等），通过generate_all_responses(prompt)函数即可批量获取所有模型输出，结果自动保存为JSON文件，无需手动配置模型密钥或部署环境。
• GPT4All Code Benchmark: 聚焦开源代码LLM，预配置20+模型，提供run_benchmark(prompt_list)单接口，返回包含每个模型响应的结构化JSON，支持本地运行与API调用混合模式。
• Hugging Face Evaluate Code Hub: 基于Hugging Face生态的预打包集合，涵盖30+代码LLM，导入预设流水线后，调用batch_generate(prompt)可一键获取多模型输出并导出JSON。
• CodeBench: 专为代码生成基准测试设计，内置50+闭源/开源代码LLM的完整配置，核心函数trigger_multi_model(prompt)可触发批量生成，结果直接以标准JSON格式输出。

注意：上述工具仅需安装对应依赖包（如pip install codellama-eval、pip install gpt4all-benchmark）即可使用，无需手动配置模型的底层参数。

内容的提问来源于stack exchange，提问作者user14584028