1
00:00:00,360 --> 00:00:03,420
想象有人提出：帮我安排一次团队聚餐。

2
00:00:04,019 --> 00:00:07,140
这个请求听起来很简单，直到你考虑它的背景。

3
00:00:07,640 --> 00:00:12,460
假设团队有素食者，还有一位成员需要无台阶通道。

4
00:00:12,920 --> 00:00:16,700
即使餐厅列表看起来很不错，也可能遗漏让计划真正有用的条件。

5
00:00:17,500 --> 00:00:21,080
这是一个用于说明的请求，而非真实参与者的案例。

6
00:00:22,080 --> 00:00:27,220
xDailyBench 研究遵循文字要求与满足实际任务之间的差异。

7
00:00:27,833 --> 00:00:32,533
基准从人们实际使用 AI 完成、或真正想完成的请求出发。

8
00:00:33,093 --> 00:00:38,013
每个任务提供指令、可选的工作区材料，以及相关的用户背景。

9
00:00:38,693 --> 00:00:44,673
有些要求是明确的，另一些则体现准确性或可用格式等基本期待。

10
00:00:45,373 --> 00:00:49,073
还有一类要求取决于具体用户，以及任务中提供的背景。

11
00:00:49,713 --> 00:00:53,833
智能体需要连接这些信息，而不是虚构并未获得的背景。

12
00:00:54,553 --> 00:00:58,513
最终任务集包含二百四十八个任务，覆盖五十一个场景。

13
00:00:59,127 --> 00:01:04,967
开放任务可以有多个好答案；评分准则定义它们必须完成什么。

14
00:01:05,507 --> 00:01:11,507
在聚餐示例中，计划可以满足饮食需求、通行需求，以及可执行的时间安排。

15
00:01:12,047 --> 00:01:16,307
这些是独立的条件，因此评估者可以逐项检查要求。

16
00:01:17,087 --> 00:01:20,627
每项条件接受二元判断：满足或未满足。

17
00:01:21,087 --> 00:01:25,427
各项条件带有权重，反映它们对完成任务的相对重要性。

18
00:01:26,127 --> 00:01:31,567
由此得到的分数可以认可有用进展，而不会把它当成完美完成整个任务。

19
00:01:32,133 --> 00:01:37,753
论文先进行辅助筛选，再通过人工交叉审阅完善任务及条件。

20
00:01:38,393 --> 00:01:44,413
审阅者检查每项条件是否独立、明确，并适合二元判断。

21
00:01:45,193 --> 00:01:49,133
试验阶段使用相同输出和评分准则，比较自动判断与人工判断。

22
00:01:49,893 --> 00:01:53,633
未达到所需一致性门槛的条件会被重新审阅和修改。

23
00:01:54,333 --> 00:01:59,513
最终实验在匹配的指令、工具与执行预算下比较十一个模型。

24
00:02:00,293 --> 00:02:05,493
关键评估对象是完整的回答或交付物，并对照任务要求判断。

25
00:02:06,173 --> 00:02:11,193
报告的结果中，两个模型并列达到百分之七十五点六的任务级得分。

26
00:02:11,753 --> 00:02:17,433
这一指标平均各任务得分，而非毫无遗漏地完成任务的比例。

27
00:02:18,473 --> 00:02:22,093
现在查看 Seed-2.1-Evolving 这一模型的评分条件级结果。

28
00:02:22,733 --> 00:02:28,273
它在明确条件上的得分为百分之八十一，在隐含条件上为百分之六十五。

29
00:02:28,793 --> 00:02:34,253
这是汇总条件后的得分，在这一比较中相差十六个百分点。

30
00:02:34,853 --> 00:02:39,293
如果只看总体数字，就会掩盖任务理解中哪些部分仍需要改进。

31
00:02:39,860 --> 00:02:46,240
回到聚餐计划：一个精美答案仍可能忽略所提供背景中的需求。

32
00:02:47,080 --> 00:02:52,940
xDailyBench 在评估中明确这些要求，即使它们在请求中只是隐含的。

33
00:02:53,760 --> 00:03:00,600
它提供了一种方式，检验助手能否连接指令、背景与可用的最终结果。

34
00:03:01,260 --> 00:03:06,840
这里的启发是：在认定文字要求已经满足之前，先理解完整的任务。