基于MRCP协议集成OpenAI Whisper与TTS至Avaya IVR的技术咨询

一、MRCP协议核心认知 #

MRCP（媒体资源控制协议）是IVR系统与语音处理服务器间的标准交互协议，Avaya主流IVR（如Aura Experience Portal）通常支持MRCPv2版本。核心交互逻辑为：

• Avaya IVR作为MRCP客户端，通过SIP承载MRCP控制信令，发起ASR识别/ TTS合成请求
• 你的MRCP服务器作为资源端，接收控制信令后，通过RTP协议与IVR传输音频媒体流，完成语音处理后将结果返回IVR

二、MRCP服务器搭建的入门路径 #

1. 基于开源框架二次开发（推荐） #

借助成熟的MRCP框架快速搭建核心服务，仅需开发对接Whisper和TTS引擎的插件：

• UniMRCP：这是当前最活跃的开源MRCP服务器框架，提供完整的信令、媒体处理能力，支持自定义ASR/TTS插件。
  • 步骤：
    1. 部署UniMRCP服务器，熟悉其插件开发规范（重点关注插件的初始化、请求处理、响应回调接口）
    2. 开发Whisper ASR插件：解析MRCP的RECOGNIZE请求，将IVR传来的RTP音频流转换为Whisper支持的PCM/WAV格式，调用Whisper本地模型或API完成识别，再将识别结果封装为MRCP响应返回给IVR
    3. 开发TTS插件：处理MRCP的SPEAK请求，提取待合成文本，调用选定的TTS引擎（如Coqui TTS、OpenAI TTS）生成音频，编码为IVR支持的格式后通过RTP推送给IVR
• FreeSWITCH MRCP模块：若你有FreeSWITCH基础，可通过扩展其内置的MRCP服务器模块，对接Whisper和TTS引擎，快速实现功能。

2. 从零实现MRCP服务器（不推荐入门） #

需完全吃透MRCPv2规范（IETF RFC 6787）、SIP信令（RFC 3261）、RTP媒体传输（RFC 3550），自行实现信令解析、媒体流处理等核心逻辑，开发周期长，仅适合深度协议开发者。

三、Avaya IVR集成关键配置 #

• 在Avaya Aura Experience Portal（AEP）或Communication Manager中，添加MRCP服务器配置：指定服务器IP、MRCP版本、控制端口（MRCPv2默认用SIP 5060端口）、媒体端口范围
• 在IVR流程设计（如Dialog Designer）中，将Speech Recognition和Text to Speech组件的资源提供商指定为你的MRCP服务器
• 确保音频编码兼容：Avaya IVR常用G.711（μ-law/A-law）编码，MRCP服务器需支持该编码格式，避免音频流传输异常

四、入门参考资料 #

• MRCPv2协议规范：IETF RFC 6787，重点阅读第7章（ASR相关消息）、第8章（TTS相关消息），掌握请求/响应的格式与参数
• UniMRCP开发者手册：重点关注插件开发章节，官方提供的示例插件代码可作为开发模板
• OpenAI Whisper官方文档：熟悉本地模型部署、音频格式转换、识别结果解析的API用法
• Avaya产品配置手册：针对你使用的具体Avaya IVR产品，查找MRCP资源配置章节，明确客户端侧的参数要求

内容的提问来源于stack exchange，提问作者Shahnawaz Khan