能介绍下应用效果评估的原理吗？感觉评估任务执行比较满

RT

请问应用效果评估的原理是什么？我留意到模型配置那边是有个系统评估模型的，这个是评估任务使用的吗？

还有感觉执行的时间比较长

应用效果评估的前提是，要先将检索重排后的分片（recall的chunks）、应用生成的回答（response）、标准答案（ground truth，也就是我们人工准备的测试数据集），都拆分为更细粒度的语义claim，才能够用于比较他们之间的相似度/一致性。

他们之间的关系可用下图来表示：

有了细粒度的语义claim，就可以进行多个维度的效果评估，可评估的维度包括：

• 生成答案 vs. 标准答案（ground truth）：衡量大模型回复的正确性
• 标准答案的声明（claim） vs. 检索上下文：评估检索结果的质量
• 标准答案的声明（claim） vs. 回复：衡量大模型回复的完整性
• 回复的声明（claim） vs. 检索上下文：衡量大模型的忠实度并识别是否产生幻觉

  
  
  
  

通过多次调用大模型进行比较，可进一步对生成结果存在的问题进行分类，包括粗粒度定位（检索类问题、生成类问题）、细粒度定位（检索不到、检索不全、检索噪声、内容编造、回答不全），具体实现过程如下图所示：

评估任务的耗时与较多因素有关，我们拿一条测试数据集出来进行说明：

• 如果最终回答的结果与标准答案完全一致，则这条测试数据要调用1次大模型评估；
• 如果最终回答的结果与标准答案不一致，则要继续多次调用大模型进行评估（3-9次）；

  
  
  
  

每一次评估都是一次完整的大模型推理过程，会根据输入问题的长度，输出的耗时从几秒到几十秒不等。假如有50条测试数据，每一条数据平均需要调用3次，平均每次调用耗时10秒，串行测试，整个评估任务耗时大概为25分钟。

在实际场景当中，如果测试数据集数量较多，并且错误结果占比较高，那么整个的测试任务耗时将会更长；另外，如果采用更大的DS模型，因为有额外的思考过程，所以也会显著增大评估任务的耗时。

应用效果评估是指通过一系列的定量和定性方法，对某个应用程序、系统或模型在实际应用中的表现进行评价的过程。其主要目的是验证该应用是否达到了预期目标，并且能够有效地解决问题或满足需求。以下是应用效果评估的基本原理：

基本原理
设定评估指标：首先需要确定评估的关键性能指标（KPIs），这些指标应与应用的主要目标紧密相关。例如，对于一个推荐系统，可能的KPI包括点击率、转化率等。
数据收集：根据所设定的指标，收集相关的数据。这可能涉及到用户行为数据、系统日志、业务结果等多种来源的数据。
分析方法选择：选择合适的分析方法来处理和解释收集到的数据。常见的方法包括统计分析、A/B测试、用户反馈调查等。
执行评估：基于选定的方法进行评估，比较实际结果与预期目标之间的差距。
结果解释与报告：最后，将评估结果整理成易于理解的格式，并提供给相关的利益相关者。报告中通常会包含改进建议。
关于您提到的“系统评估模型”，如果是在模型配置中提及的一个组件，它很可能是用于自动化上述评估过程的一种工具或框架。这种模型可以自动执行数据收集、分析并生成评估报告，从而简化了评估流程，使得即使非专业人士也能理解和使用评估结果。

至于您提到的执行时间较长的问题，这可能由多种因素造成：

数据量大：如果评估涉及大量的数据，那么处理这些数据自然需要更多的时间。
计算复杂度高：一些复杂的评估方法可能需要更多的计算资源和时间。
网络延迟或硬件限制：在分布式环境中运行评估任务时，网络延迟或硬件性能不足也会导致执行时间延长。
为了缩短执行时间，您可以考虑优化数据处理流程、增加计算资源或者调整评估策略。例如，采用更高效的算法、减少不必要的数据处理步骤、利用云计算资源等。