Azure OpenAI API中文内容过滤过严问题求助

问题概述 #

使用Azure OpenAI API时，所有正常中文业务语句均被内容过滤拦截（判定为sexual类别违规），但相同语义的英文语句可正常通过，导致基础业务操作无法开展。

测试代码 #

msg = [
     {'content': '我叫李梅,要1个鼠标,请送去205室','role': 'user'},
     {'content': '我叫李梅,要1个键盘,请送去205室','role': 'user'},
     {'content': '我叫李梅,要1个,请送去205室','role': 'user'},
     {'content': '我叫李梅,要1个','role': 'user'},
     {'content': '要1个鼠标','role': 'user'},
     {'content': 'my name is li mei,i need one mouse,pls deliver to room 205','role': 'user'}
]

for m in msg:
    try:
        print(m)
        res = response = openai.ChatCompletion.create(
            model="gpt-35-turbo-16k",
            messages=[m]
        )
        #print(res)
        print('\n内容通过!')
    except InvalidRequestError as e:
        if e.error.code == "content_filter" and e.error.innererror:
            content_filter_result = e.error.innererror.content_filter_result
            # or access the individual categories and details
            print('\n内容不通过!')
            for category, details in content_filter_result.items():
                print(f"{category}:\n filtered={details['filtered']}\n severity={details['severity']}")
            continue

测试结果 #

{'content': '我叫李梅,要1个鼠标,请送去205室', 'role': 'user'}

内容不通过!
hate:
 filtered=False
 severity=safe
self_harm:
 filtered=False
 severity=safe
sexual:
 filtered=True
 severity=high
violence:
 filtered=False
 severity=safe
{'content': '我叫李梅,要1个键盘,请送去205室', 'role': 'user'}

内容不通过!
hate:
 filtered=False
 severity=safe
self_harm:
 filtered=False
 severity=safe
sexual:
 filtered=True
 severity=medium
violence:
 filtered=False
 severity=safe
{'content': '我叫李梅,要1个,请送去205室', 'role': 'user'}

内容不通过!
hate:
 filtered=False
 severity=safe
self_harm:
 filtered=False
 severity=safe
sexual:
 filtered=True
 severity=high
violence:
 filtered=False
 severity=safe
{'content': '我叫李梅,要1个', 'role': 'user'}

内容不通过!
hate:
 filtered=False
 severity=safe
self_harm:
 filtered=False
 severity=safe
sexual:
 filtered=True
 severity=medium
violence:
 filtered=False
 severity=safe
{'content': '要1个鼠标', 'role': 'user'}

内容不通过!
hate:
 filtered=False
 severity=safe
self_harm:
 filtered=False
 severity=safe
sexual:
 filtered=True
 severity=medium
violence:
 filtered=False
 severity=safe
{'content': 'my name is li mei,i need one mouse,pls deliver to room 205', 'role': 'user'}

内容通过!

可行解决方案 #

• 调整内容过滤策略：在Azure OpenAI资源的内容安全设置中，针对中文场景降低sexual类别的过滤阈值，或自定义允许的内容规则，平衡安全合规与业务需求。
• 提交误判反馈：通过Azure门户支持渠道提交内容过滤误判案例，附带测试语句和结果，请求官方优化中文内容识别模型。
• 切换模型版本：测试不同版本的GPT-3.5 Turbo模型（如基础版gpt-35-turbo），新版本可能已修复中文过滤的误判问题。
• 内容预处理：对中文语句做轻微调整，比如将“要1个”改为“要一个”，避免触发敏感词识别的误判逻辑。
• 独立预检测：先用Azure Content Safety API对内容进行预检测，针对误判内容手动放行后，再传入OpenAI API处理。

内容的提问来源于stack exchange，提问作者bumcatxian