基于AI PaaS 的某企业知识问答应用效果优化案例-检索不到类问题
  

王红伟94 4978

{{ttag.title}}
本帖最后由 王红伟94 于 2025-4-22 14:40 编辑


企业内部存在着大量的制度、流程等电子文档文档,基于RAG的大模型应用,是企业内部知识问答的绝佳应用场景,能够快速准确地满足员工的日常咨询。

搭建一个RAG应用,门槛已经非常低了,但是实际当中总会存在一些回答结果效果不达预期的情况。这里我们通过实际的优化案例,来介绍一些常用的RAG效果定位和优化方法。

在本案例中,企业通过AI PaaS平台能够快速搭建出一个企业制度问答的RAG应用,在发布之前准备了50条测试数据,用于评估应用效果。

通过AI PaaS的智能评估功能,企业快速完成了“企业制度问答”应用效果评估。在当前测试集下,初始准确率是90%,但是还存在少量问题,例如检索不到、检索噪声、回答不全等。本案例中我们以“检索不到“类问题为例,介绍下问题定位和优化过程。

一、问题定位

step 1. 通过AI PAAS评估结果中的评估详情,找到“检索不到”问题类别。

step2. 还原问答现场,通过对比标准答案,明确属于检索不到类问题。
大模型生成结果如下:

测试集中的标准答案:


原始文档中相关描述如下(PDF文档为扫描版,里边的的表格出现跨页)。

step 3. 通过打开“工作流-召回重排”,发现相关片段排在第1位,但内容有缺失:
  1. 输出
  2. {
  3. "references":
  4. [
  5. {
  6. "ref":
  7. {
  8. "type":
  9. "knowledgebase",
  10. "filename":
  11. "****关于印发《***有限公司经费管理办法》的通知.pdf",
  12. "source_id":
  13. "f763ce31b73c4fb6b07bd45c024af7e1",
  14. "record_id":
  15. "b27d238d-8d00-491f-bb00-10d1a40cf6df",
  16. "rank":
  17. 1,
  18. "score":
  19. -0.050537109375
  20. },
  21. "content":
  22. "# 第四章 差旅费报销管理 # 第十二条差旅费标准 # (二)住宿费标准 住宿费是指员工因公出差期间入住宾馆发生的房租费用。住 宿费用报销实行“职别住宿、凭据报销、超标自理”的原则。 员工出差住宿费标准表 | | 职别 | 住宿标准(元天 | ",
  23. "data":
  24. {
  25. "question":
  26. "# 第四章 差旅费报销管理 # 第十二条差旅费标准 # (二)住宿费标准 住宿费是指员工因公出差期间入住宾馆发生的房租费用。住 宿费用报销实行“职别住宿、凭据报销、超标自理”的原则。 员工出差住宿费标准表 | | 职别 | 住宿标准(元天 | ",
  27. "answer":
  28. null
  29. },
  30. "data_type":
  31. "chunk"
  32. },
  33. …………
复制代码


step 4. 进一步回到知识库中,按照引用的文件筛选出分片:

找到对应的分片009和010,通过对比原文发现,分片中表格中间信息丢失,没有进入分片,导致检索不到这部分内容。




step 5. 通过人工校验,定位到是PDF解析后表格内容丢失。所以,在检索时检索不到关于“高级专家和专家的住宿标准”,大模型依据其它片段自行做了发挥。


二、优化方法

手工修改分片,补充缺失的表格内容后,按照Markdown格式表格,补充到分片中。

经过测试,可以正常检索到并回答出来。

打赏鼓励作者,期待更多好文!

打赏
11人已打赏

新手716814 发表于 2025-5-30 08:42
  
感谢楼主的精彩分享,有助工作!!!
dhf 发表于 2025-5-25 23:14
  
感谢楼主的精彩分享,有助工作!!!
新手716814 发表于 2025-5-22 09:26
  
有助于工作!!!!!!!!!!!!!!!!!!!
发表新帖
热门标签
全部标签>
有一说一
纪元平台
功能体验
存储
专家分享
迁移
每日一问
GIF动图学习
每周精选
信服课堂视频
虚拟机
项目案例
地址转换
追光者计划
技术笔记
安全攻防
问题分析处理
流量管理
终端接入
「智能机器人」
专家说
声音值千金
工具体验官
解决方案
VPN 对接
标准化排查
答题自测
新版本体验
上网策略
资源访问
排障笔记本
产品预警公告
技术晨报
社区新周刊
升级
日志审计
设备维护
技术争霸赛
以战代练
场景专题
全能先锋系列
产品解析
产品连连看
功能咨询
秒懂零信任
文档捉虫
齐鲁TV
高频问题集锦
【 社区to talk】
云化安全能力
故障笔记
排障那些事
2025年技术争霸赛
安装部署配置
测试报告
SDP百科
山东区技术晨报
华北区交付直播
MVP
每日一记
运维工具
原创分享
sangfor周刊
SANGFOR资讯
授权
玩转零信任
升级&主动服务
行业实践
产品知识周周练
畅聊IT
专家问答
技术圆桌
在线直播
信服故事
卧龙计划
平台使用
技术盲盒
北京区每日一练
产品动态
用户认证
技术顾问
天逸直播
POC测试案例
安全效果
关键解决方案
S豆商城资讯
2023技术争霸赛专题
高手请过招
产品体验官
VMware替换
网络基础知识
华北区拉练
西北区每日一问
热门活动
2024年技术争霸赛

本版版主

8
11
2

发帖

粉丝

关注

2
7
0

发帖

粉丝

关注

0
3
0

发帖

粉丝

关注

36
18
1

发帖

粉丝

关注

1
1
0

发帖

粉丝

关注

本版达人