1
00:00:00,320 --> 00:00:03,760
假设一个研究智能体撰写报告，比较两种回收方式，

2
00:00:03,980 --> 00:00:07,360
涵盖收集、成本、杂质混入，以及报告的结果。

3
00:00:07,960 --> 00:00:09,220
这份报告可能看起来很精致，

4
00:00:09,260 --> 00:00:14,480
却遗漏必需的比较、偏离主题，或者引用错误的来源页面。

5
00:00:15,300 --> 00:00:19,300
Dr. Bench 通过多个不同维度评估长篇研究报告，

6
00:00:19,340 --> 00:00:21,020
而不是只检查一个简短答案。

7
00:00:21,620 --> 00:00:26,940
它的框架结合语义质量、主题聚焦度，以及与专家指定来源的一致性。

8
00:00:27,600 --> 00:00:32,840
我们将用这个原创回收示例解释这些测量，再查看报告中的分数对比。

9
00:00:33,340 --> 00:00:39,300
关键是分别检查：它是否完成任务、保持主题，以及使用预期的来源证据？

10
00:00:39,867 --> 00:00:45,247
该基准包含二百一十四项由专家整理的任务，覆盖十个宽泛领域。

11
00:00:45,927 --> 00:00:50,927
每个查询要求生成结构化报告，并配有人工构建的参考材料包。

12
00:00:51,547 --> 00:00:56,547
五个模块组织这些材料：任务专属量表、通用报告量表、

13
00:00:57,067 --> 00:01:00,527
来源链接、主题锚点，以及偏题关键词。

14
00:01:01,287 --> 00:01:05,467
查询专属标准表示这份特定报告应该完成什么。

15
00:01:06,047 --> 00:01:10,527
其他模块检查报告构建得如何、使用哪些来源，

16
00:01:10,987 --> 00:01:13,327
以及它在多大程度上围绕预期主题展开。

17
00:01:14,127 --> 00:01:20,567
构建流程包括机器审核，以及对量表、关键词和来源链接的多轮人工审查。

18
00:01:21,180 --> 00:01:26,400
在回收示例中，任务量表可以要求明确比较成本，

19
00:01:26,940 --> 00:01:29,320
并解释两种方式为何不同。

20
00:01:30,060 --> 00:01:31,680
这些是本题的要求；

21
00:01:32,680 --> 00:01:39,220
通用报告量表则另行评估结构、清晰度、引用质量和分析严谨性。

22
00:01:40,060 --> 00:01:43,760
因此，一份格式良好的报告仍可能遗漏所需分析，

23
00:01:44,260 --> 00:01:46,580
而相关的回答也可能组织得很差。

24
00:01:47,600 --> 00:01:52,780
Quality 指标对两种量表分数进行归一化，并按权重求平均。

25
00:01:53,540 --> 00:01:58,600
在报告的实验中，查询专属质量与通用报告质量的权重相同。

26
00:01:59,360 --> 00:02:04,520
这产生的是关于内容和表达的质量信号，而不是任务通过率。

27
00:02:05,280 --> 00:02:10,760
每项任务有五个由专家定义的主题锚点词，以及五个偏题词。

28
00:02:11,600 --> 00:02:18,300
在回收示例中，锚点可以包括收集、分类、杂质混入、成本，以及结果。

29
00:02:18,960 --> 00:02:23,400
对于这个假设性的比较，无关的度假规划段落就属于偏题内容。

30
00:02:24,400 --> 00:02:28,380
SemanticDrift 同时测量锚点的遗漏，以及偏题词的使用。

31
00:02:29,000 --> 00:02:33,140
它把经过缩放的关键词频率，与语言模型对语义相关性的评估结合，

32
00:02:33,520 --> 00:02:35,120
而不是只统计出现次数。

33
00:02:36,080 --> 00:02:42,040
较低漂移意味着测得的主题聚焦度更高；综合分数使用与漂移互补的聚焦因子。

34
00:02:42,593 --> 00:02:48,573
专家提供可信来源链接，指向包含任务所需信息的权威一手页面。

35
00:02:49,353 --> 00:02:53,433
来源指标检查精确链接匹配，以及相同主机名的匹配。

36
00:02:54,093 --> 00:02:59,213
在我们的示例中，引用指定报告页面，与引用同一机构的另一页面，

37
00:02:59,273 --> 00:03:00,153
是不同类型的匹配。

38
00:03:00,873 --> 00:03:05,013
这两种匹配具有不同权重，并产生有界的来源一致性加成。

39
00:03:05,793 --> 00:03:11,793
这检查的是与专家来源列表的一致性；域名匹配并不能证明每项引用结论都有支持。

40
00:03:12,513 --> 00:03:17,773
因此，查询专属内容量表与来源列表匹配，在报告评估中发挥互补作用。

41
00:03:18,393 --> 00:03:24,553
综合分数将 Quality、聚焦因子和来源加成相乘，并使用论文中的分数尺度。

42
00:03:25,093 --> 00:03:31,033
较强的质量信号可能被主题漂移削弱，而预期来源的覆盖则提高来源因子。

43
00:03:31,793 --> 00:03:33,973
实验比较十三个系统，

44
00:03:34,252 --> 00:03:38,553
包括专门的深度研究智能体，以及配备网络搜索的推理模型。

45
00:03:39,313 --> 00:03:43,393
报告中的各组件列与综合分数列，是不同的汇总测量。

46
00:03:44,033 --> 00:03:46,393
我们直接使用报告的综合分数，

47
00:03:46,473 --> 00:03:50,273
而不是把组件列的平均值相乘来重建排行榜。

48
00:03:50,993 --> 00:03:55,313
这些数值是分数点数，并不是成功完成任务所占的百分比。

49
00:03:55,960 --> 00:04:00,600
在表一中，Qwen Deep Research 的综合分数约为三十四点六五分。

50
00:04:01,260 --> 00:04:04,060
Sonar Deep Research 随后，约为三十三点四七分；

51
00:04:04,540 --> 00:04:07,600
o3 Deep Research 约为三十二点九零分。

52
00:04:08,220 --> 00:04:12,400
Kimi K2 具有最高的平均 Quality 值，零点六七零七，

53
00:04:12,820 --> 00:04:14,420
但并未位居综合排名第一。

54
00:04:14,880 --> 00:04:17,780
它的综合分数约为三十二点零七分。

55
00:04:18,500 --> 00:04:22,680
这个对比说明，为什么任务质量、测得的聚焦度和来源一致性

56
00:04:22,720 --> 00:04:24,540
应作为独立组件保持可见。

57
00:04:25,320 --> 00:04:28,120
这些结果对应论文中的历史系统和评分配置，

58
00:04:28,620 --> 00:04:30,800
并不是当前研究助手的普遍排名。

59
00:04:31,527 --> 00:04:38,327
Dr. Bench 通过任务专属参考材料包和明确评分维度，让长报告评估变得具体。

60
00:04:39,027 --> 00:04:45,247
回收示例把所需分析，与呈现方式、主题聚焦度和来源选择区分开。

61
00:04:45,967 --> 00:04:51,627
可读的报告仍需检查是否包含必需内容；来源匹配后，相关结论仍需检查。

62
00:04:52,427 --> 00:04:57,767
综合分数概括多个信号，而组件视图帮助解释这个概括包含什么。

63
00:04:58,747 --> 00:05:01,887
有用的评估会检查，报告是否回答了这个问题、

64
00:05:02,427 --> 00:05:05,207
围绕这个主题，并组织了相关证据。

65
00:05:05,927 --> 00:05:10,187
这让一份看起来令人印象深刻的文档，变成可以检查其质量的研究输出。