零门槛利用AI PAAS的应用评估功能定位效果瓶颈并优化-回答不全类问题

在上一个分享“基于AI PaaS 的某企业知识问答应用效果优化案例-检索不到类问题”中，我们介绍了 通过AI PAAS的评估结果-问题定位功能，解决了RAG应用中检索不到的问题（因为表格解析分片导致的问题）。这个过程需要我们去检查工作流中检索节点的输出结果，并且对照分片结果进行排查，这样的问题排查过程比较适合对RAG有一定理解的人员。

下边介绍的方法，更适合没有RAG知识的人员，仅利用AI PaaS的应用评估功能就可以快速定位效果瓶颈并优化（针对生成回答不全类问题）。

一、问题定位

step 1. 通过AI PAAS评估结果中的评估详情，找到“回答不全”问题类别。

step 2.  还原问答现场

查看问答详情，在测试中回答结果如下。

step 3.  确认答案差异点

标准答案如下：

通过对比发现，检索结果正确，但缺少部分内容（红框部分），故判断为大模型对回答结果做了总结，造成回答结果不全。

二、优化方法

通过上述分析判断，在生成阶段，大模型对检索正确的结果进行了“发挥”，因此判断可以通过优化提示词来约束大模型的生成。

在原提示词上增加约束："4. 请直接引用背景知识的原文，不要对背景知识进行总结归纳。" 修改提示词保存。

在调试问答窗口，输入相同问题，重新测试后，回答结果与标准答案一致。

以上就是仅仅通过修改大模型提示词，来对回答不全的生成结果进行优化的过程示例。