WEBVTT

1
00:00:00.320 --> 00:00:03.760
假设一个研究智能体撰写报告，比较两种回收方式，

2
00:00:03.980 --> 00:00:07.360
涵盖收集、成本、杂质混入，以及报告的结果。

3
00:00:07.960 --> 00:00:09.220
这份报告可能看起来很精致，

4
00:00:09.260 --> 00:00:14.480
却遗漏必需的比较、偏离主题，或者引用错误的来源页面。

5
00:00:15.300 --> 00:00:19.300
Dr. Bench 通过多个不同维度评估长篇研究报告，

6
00:00:19.340 --> 00:00:21.020
而不是只检查一个简短答案。

7
00:00:21.620 --> 00:00:26.940
它的框架结合语义质量、主题聚焦度，以及与专家指定来源的一致性。

8
00:00:27.600 --> 00:00:32.840
我们将用这个原创回收示例解释这些测量，再查看报告中的分数对比。

9
00:00:33.340 --> 00:00:39.300
关键是分别检查：它是否完成任务、保持主题，以及使用预期的来源证据？

10
00:00:39.867 --> 00:00:45.247
该基准包含二百一十四项由专家整理的任务，覆盖十个宽泛领域。

11
00:00:45.927 --> 00:00:50.927
每个查询要求生成结构化报告，并配有人工构建的参考材料包。

12
00:00:51.547 --> 00:00:56.547
五个模块组织这些材料：任务专属量表、通用报告量表、

13
00:00:57.067 --> 00:01:00.527
来源链接、主题锚点，以及偏题关键词。

14
00:01:01.287 --> 00:01:05.467
查询专属标准表示这份特定报告应该完成什么。

15
00:01:06.047 --> 00:01:10.527
其他模块检查报告构建得如何、使用哪些来源，

16
00:01:10.987 --> 00:01:13.327
以及它在多大程度上围绕预期主题展开。

17
00:01:14.127 --> 00:01:20.567
构建流程包括机器审核，以及对量表、关键词和来源链接的多轮人工审查。

18
00:01:21.180 --> 00:01:26.400
在回收示例中，任务量表可以要求明确比较成本，

19
00:01:26.940 --> 00:01:29.320
并解释两种方式为何不同。

20
00:01:30.060 --> 00:01:31.680
这些是本题的要求；

21
00:01:32.680 --> 00:01:39.220
通用报告量表则另行评估结构、清晰度、引用质量和分析严谨性。

22
00:01:40.060 --> 00:01:43.760
因此，一份格式良好的报告仍可能遗漏所需分析，

23
00:01:44.260 --> 00:01:46.580
而相关的回答也可能组织得很差。

24
00:01:47.600 --> 00:01:52.780
Quality 指标对两种量表分数进行归一化，并按权重求平均。

25
00:01:53.540 --> 00:01:58.600
在报告的实验中，查询专属质量与通用报告质量的权重相同。

26
00:01:59.360 --> 00:02:04.520
这产生的是关于内容和表达的质量信号，而不是任务通过率。

27
00:02:05.280 --> 00:02:10.760
每项任务有五个由专家定义的主题锚点词，以及五个偏题词。

28
00:02:11.600 --> 00:02:18.300
在回收示例中，锚点可以包括收集、分类、杂质混入、成本，以及结果。

29
00:02:18.960 --> 00:02:23.400
对于这个假设性的比较，无关的度假规划段落就属于偏题内容。

30
00:02:24.400 --> 00:02:28.380
SemanticDrift 同时测量锚点的遗漏，以及偏题词的使用。

31
00:02:29.000 --> 00:02:33.140
它把经过缩放的关键词频率，与语言模型对语义相关性的评估结合，

32
00:02:33.520 --> 00:02:35.120
而不是只统计出现次数。

33
00:02:36.080 --> 00:02:42.040
较低漂移意味着测得的主题聚焦度更高；综合分数使用与漂移互补的聚焦因子。

34
00:02:42.593 --> 00:02:48.573
专家提供可信来源链接，指向包含任务所需信息的权威一手页面。

35
00:02:49.353 --> 00:02:53.433
来源指标检查精确链接匹配，以及相同主机名的匹配。

36
00:02:54.093 --> 00:02:59.213
在我们的示例中，引用指定报告页面，与引用同一机构的另一页面，

37
00:02:59.273 --> 00:03:00.153
是不同类型的匹配。

38
00:03:00.873 --> 00:03:05.013
这两种匹配具有不同权重，并产生有界的来源一致性加成。

39
00:03:05.793 --> 00:03:11.793
这检查的是与专家来源列表的一致性；域名匹配并不能证明每项引用结论都有支持。

40
00:03:12.513 --> 00:03:17.773
因此，查询专属内容量表与来源列表匹配，在报告评估中发挥互补作用。

41
00:03:18.393 --> 00:03:24.553
综合分数将 Quality、聚焦因子和来源加成相乘，并使用论文中的分数尺度。

42
00:03:25.093 --> 00:03:31.033
较强的质量信号可能被主题漂移削弱，而预期来源的覆盖则提高来源因子。

43
00:03:31.793 --> 00:03:33.973
实验比较十三个系统，

44
00:03:34.252 --> 00:03:38.553
包括专门的深度研究智能体，以及配备网络搜索的推理模型。

45
00:03:39.313 --> 00:03:43.393
报告中的各组件列与综合分数列，是不同的汇总测量。

46
00:03:44.033 --> 00:03:46.393
我们直接使用报告的综合分数，

47
00:03:46.473 --> 00:03:50.273
而不是把组件列的平均值相乘来重建排行榜。

48
00:03:50.993 --> 00:03:55.313
这些数值是分数点数，并不是成功完成任务所占的百分比。

49
00:03:55.960 --> 00:04:00.600
在表一中，Qwen Deep Research 的综合分数约为三十四点六五分。

50
00:04:01.260 --> 00:04:04.060
Sonar Deep Research 随后，约为三十三点四七分；

51
00:04:04.540 --> 00:04:07.600
o3 Deep Research 约为三十二点九零分。

52
00:04:08.220 --> 00:04:12.400
Kimi K2 具有最高的平均 Quality 值，零点六七零七，

53
00:04:12.820 --> 00:04:14.420
但并未位居综合排名第一。

54
00:04:14.880 --> 00:04:17.780
它的综合分数约为三十二点零七分。

55
00:04:18.500 --> 00:04:22.680
这个对比说明，为什么任务质量、测得的聚焦度和来源一致性

56
00:04:22.720 --> 00:04:24.540
应作为独立组件保持可见。

57
00:04:25.320 --> 00:04:28.120
这些结果对应论文中的历史系统和评分配置，

58
00:04:28.620 --> 00:04:30.800
并不是当前研究助手的普遍排名。

59
00:04:31.527 --> 00:04:38.327
Dr. Bench 通过任务专属参考材料包和明确评分维度，让长报告评估变得具体。

60
00:04:39.027 --> 00:04:45.247
回收示例把所需分析，与呈现方式、主题聚焦度和来源选择区分开。

61
00:04:45.967 --> 00:04:51.627
可读的报告仍需检查是否包含必需内容；来源匹配后，相关结论仍需检查。

62
00:04:52.427 --> 00:04:57.767
综合分数概括多个信号，而组件视图帮助解释这个概括包含什么。

63
00:04:58.747 --> 00:05:01.887
有用的评估会检查，报告是否回答了这个问题、

64
00:05:02.427 --> 00:05:05.207
围绕这个主题，并组织了相关证据。

65
00:05:05.927 --> 00:05:10.187
这让一份看起来令人印象深刻的文档，变成可以检查其质量的研究输出。