1
00:00:00,320 --> 00:00:06,780
设想库存请求：根据所给表格制作工作簿和简短 PDF 摘要。

2
00:00:07,500 --> 00:00:12,860
产物整齐，但摘要总额与工作簿最终值不一致。

3
00:00:13,600 --> 00:00:18,720
漂亮封面和正确表格不能替代跨文件一致性要求。

4
00:00:19,640 --> 00:00:24,600
用户需要可用文件，不只是执行了许多步骤的证据。

5
00:00:25,580 --> 00:00:31,000
虚构示例不含真实机构、个人数据或测量的基准分。

6
00:00:31,880 --> 00:00:37,100
它引出大量进展与满足最终交付条件的区别。

7
00:00:37,767 --> 00:00:43,927
StartupBench 从有采用或付费使用证据的 AI 产品流程开始。

8
00:00:44,827 --> 00:00:51,167
访谈恢复流程背景、实际约束和用户期待的交付物。

9
00:00:52,347 --> 00:00:58,207
市场证据说明评估什么，却不证明智能体能成功。

10
00:00:59,207 --> 00:01:05,927
专家保留原目标与产物，把场景转成可复现任务。

11
00:01:06,807 --> 00:01:13,967
这使评估连接到需求产物，而非仅依靠研究者设计的子任务。

12
00:01:15,027 --> 00:01:20,687
最终问题是产物是否满足赋予流程价值的那些要求。

13
00:01:21,093 --> 00:01:28,093
每任务包含自然语言请求、输入工作区和加权评价规则。

14
00:01:28,913 --> 00:01:33,793
请求描述产物，工作区提供生成产物所需的信息。

15
00:01:34,713 --> 00:01:41,613
规则区分功能、结构、格式和领域内质量要求。

16
00:01:42,373 --> 00:01:47,293
原创示例中，一项检查工作簿，另一项比较摘要。

17
00:01:48,093 --> 00:01:54,013
这些条件比让智能体“做得专业”更准确地规定交付物。

18
00:01:54,753 --> 00:01:59,453
它们也规定评估者在尝试结束后应检查的证据。

19
00:02:00,153 --> 00:02:06,033
基准包含九十七个流程任务，覆盖六个顶层专业领域。

20
00:02:06,933 --> 00:02:14,653
请求产物包括文档、表格、幻灯片、PDF、图像等格式。

21
00:02:15,693 --> 00:02:21,133
额外专家审查工作区、流程保真度、规则与参考产物一致性。

22
00:02:22,093 --> 00:02:27,853
试运行发现模糊指令或缺资源，接纳前需修订任务。

23
00:02:28,913 --> 00:02:34,713
流程也选择有挑战的任务，因此结果对应整理后的基准分布。

24
00:02:35,493 --> 00:02:40,353
将测量完成率联系到更广专业工作时，任务定义很重要。

25
00:02:40,980 --> 00:02:47,740
评估器使用提取内容与渲染页，也可访问原始产物。

26
00:02:48,400 --> 00:02:54,360
每条规则有独立判断会话，输出二元决定与文字理由。

27
00:02:55,160 --> 00:03:01,020
这让检查聚焦单项要求，而非合并成笼统印象。

28
00:03:02,060 --> 00:03:07,180
加权汇总评估者认定已满足的要求，形成任务分。

29
00:03:08,240 --> 00:03:14,680
对示例工作簿，只看摘要截图未必能核实公式与总额一致。

30
00:03:15,300 --> 00:03:19,240
原始文件可能包含直接测试该条件所需的证据。

31
00:03:20,027 --> 00:03:26,207
加权分认可满足的要求，即使重要条件仍然遗漏。

32
00:03:27,487 --> 00:03:33,327
成功指标另设条件：任务运行至少达到九十分。

33
00:03:34,247 --> 00:03:40,167
这定义基准成功，并不表示每条规则都完美满足。

34
00:03:41,267 --> 00:03:47,907
较高平均分因此可能与许多最终交付失败判定并存。

35
00:03:49,467 --> 00:03:55,307
源分析指出核心条件遗漏和验证最终产物的错误。

36
00:03:56,387 --> 00:04:02,867
格式好的示例工作簿，在跨文件条件未满足时体现这种差距。

37
00:04:03,553 --> 00:04:09,553
主要实验的九个模型使用相同 Nanobot 框架和工具配置。

38
00:04:10,393 --> 00:04:15,673
每个模型接收任务工作区和请求，最多二百个交互步骤。

39
00:04:16,633 --> 00:04:21,753
每模型运行三次，按规定阈值汇总这些运行的成功率。

40
00:04:22,813 --> 00:04:27,973
平均分总结加权规则得分，从另一角度观察这些尝试。

41
00:04:29,193 --> 00:04:35,633
共用框架支持比较，但不让所有架构与模型能力变得相同。

42
00:04:36,433 --> 00:04:40,793
任何数值结果都应保留模型行与对应指标定义。

43
00:04:41,347 --> 00:04:46,927
GPT-5.6-sol 的平均加权分为七十三点六一。

44
00:04:47,587 --> 00:04:53,647
同模型在汇总运行中的阈值成功率为百分之三十一点二七。

45
00:04:54,307 --> 00:05:00,667
这支持约三成完成的结论，而不是把平均分当通过率。

46
00:05:01,547 --> 00:05:07,807
Kimi-K3 平均分略高，为七十三点六七，但阈值成功率更低。

47
00:05:08,387 --> 00:05:13,187
其成功率为百分之二十九点五五，所以两种排名不必一致。

48
00:05:13,967 --> 00:05:19,287
这些基准数值不表示任意工作请求的成功概率。

49
00:05:19,867 --> 00:05:25,547
回到库存示例：工作簿和摘要需支持同一指定用途。

50
00:05:26,467 --> 00:05:32,827
许多完成步骤可产生可信文件，而核心一致性要求仍未满足。

51
00:05:33,787 --> 00:05:40,227
StartupBench 询问市场来源流程能否产生符合专家验收条件的产物。

52
00:05:40,927 --> 00:05:46,407
评分保留部分进展，成功阈值揭示剩余交付差距。

53
00:05:47,227 --> 00:05:52,307
智能体对过程的自信，不应替代检查实际最终文件。

54
00:05:52,987 --> 00:05:58,367
有用的问题是：重要要求是否一直保留到已交付的工作产物？