1
00:00:00,340 --> 00:00:08,280
设想四阶段分析请求：导入记录、必要转换、制图和导出。

2
00:00:09,400 --> 00:00:14,760
即使跳过指定转换，图表仍可能看起来合理。

3
00:00:15,460 --> 00:00:20,700
导出操作因此可能成功，但交付底层结果仍然错误。

4
00:00:21,900 --> 00:00:26,660
阶段由输入状态相连，不只是屏幕窗口的先后顺序。

5
00:00:27,320 --> 00:00:31,680
这是虚构短流程，不是基准中测量的软件任务。

6
00:00:32,259 --> 00:00:38,220
它引出 Workflow-GYM 要求电脑操作智能体保持的长程连续性。

7
00:00:38,840 --> 00:00:47,200
Workflow-GYM 评估需要专业软件与领域知识的完整电脑流程。

8
00:00:48,020 --> 00:00:55,020
固定版本含三百三十八个任务、六领域和二十三个子领域。

9
00:00:55,860 --> 00:01:02,620
任务需三十到一百一十个标注操作，不是少量孤立点击。

10
00:01:03,460 --> 00:01:10,659
这让配置、中间状态与最终文件或界面结果形成依赖。

11
00:01:11,580 --> 00:01:16,620
当之前流程状态有误，局部合理操作仍可能错误。

12
00:01:17,240 --> 00:01:23,680
因此基准同时测量持续执行能力与单独界面操作。

13
00:01:24,300 --> 00:01:32,300
环境设计将可复用软件级虚拟机与轻量任务初始化分开。

14
00:01:33,540 --> 00:01:39,860
五十六个基础虚拟机提供已安装专业软件和受控版本配置。

15
00:01:40,760 --> 00:01:47,540
每个任务按定义的初始化过程注入输入文件、模板或设置。

16
00:01:48,460 --> 00:01:54,520
软件已准备交互，但请求的任务操作尚未执行。

17
00:01:55,540 --> 00:02:02,140
无关登录前置条件被移除，使评估聚焦指定专业流程。

18
00:02:03,300 --> 00:02:09,380
图中是通用工作区，不含真实个人凭据或环境。

19
00:02:10,020 --> 00:02:17,040
每任务以自包含指令说明目标、所需软件与最终结果。

20
00:02:17,640 --> 00:02:22,540
结果可以是生成的产物，也可以是指定最终图形界面状态。

21
00:02:23,740 --> 00:02:30,280
专家提供原子步骤并在验证中执行，以检查任务可完成。

22
00:02:31,040 --> 00:02:37,540
若环境、指令或评价条件阻止有效解答，就进行修订。

23
00:02:38,440 --> 00:02:44,500
主要智能体评估仅给一次初始指令，不提供逐步中间指导。

24
00:02:45,180 --> 00:02:50,220
专家步骤确定任务规范，不应误当每次运行中提供的提示。

25
00:02:50,860 --> 00:02:57,440
难度按标注步骤长度划分：三十至四十四操作属于简单组。

26
00:02:58,220 --> 00:03:04,520
四十五至六十为中等组，六十一至一百一十为困难组。

27
00:03:05,400 --> 00:03:10,920
这些计数描述任务复杂度，不规定模型实际使用的交互次数。

28
00:03:11,960 --> 00:03:18,200
源分析描述长流程中的阶段遗漏、错误传播和目标漂移。

29
00:03:19,240 --> 00:03:24,220
遗漏必要阶段会让后续操作基于从未正确建立的状态。

30
00:03:25,160 --> 00:03:30,760
原创转换示例展示这个问题，不借用真实软件或基准轨迹。

31
00:03:31,387 --> 00:03:37,547
论文区分流程未完成与达到最终阶段但结果错误。

32
00:03:38,467 --> 00:03:43,827
未完成尝试可能在导出前停止，或停在软件中间状态。

33
00:03:44,767 --> 00:03:51,427
另一尝试可生成所需文件，却违反配置要求或遗漏组件。

34
00:03:52,887 --> 00:03:59,307
产物任务检查文件是否满足要求，而不仅是存在。

35
00:04:00,267 --> 00:04:07,387
非产物任务使用最终界面证据与预定规则评价请求状态。

36
00:04:08,507 --> 00:04:14,227
评估目标仍是端到端结果，不只是每次点击看起来合理。

37
00:04:15,007 --> 00:04:20,467
每模型接收一次初始指令，最多四百个交互回合。

38
00:04:21,727 --> 00:04:27,807
源实验使用模型特定框架，并非所有模型都用相同框架。

39
00:04:29,227 --> 00:04:36,147
每任务独立尝试三次，全任务集共一千零十四次试验。

40
00:04:37,587 --> 00:04:44,487
平均通过率汇总这些试验；Pass@3 报告另一个三次尝试指标。

41
00:04:46,047 --> 00:04:51,927
多次尝试更可能成功，并不等于每次尝试都可靠。

42
00:04:53,167 --> 00:04:58,247
下一比较保留同一模型行，同时区分两个报告指标。

43
00:04:58,913 --> 00:05:05,573
Gemini-3.1-Pro 的平均通过率为百分之三十点六七。

44
00:05:06,213 --> 00:05:10,653
同一行的 Pass@3 为百分之四十一点一二。

45
00:05:11,473 --> 00:05:17,753
它们用不同成功指标总结同一协议，不应相互替换。

46
00:05:18,813 --> 00:05:25,833
Kimi-k2.6 的 Pass@3 不同，与 Gemini 平均值组合会混用模型。

47
00:05:26,933 --> 00:05:33,153
这些数值属于三百三十八个整理流程及其模型特定执行设置。

48
00:05:33,693 --> 00:05:39,413
它们不应被理解为任意专业软件任务的通用成功保证。

49
00:05:40,040 --> 00:05:46,740
回到原创流程：报告依赖图表，图表依赖数据转换。

50
00:05:47,500 --> 00:05:54,000
跳过一个阶段可破坏依赖链，后续操作却仍显得局部合理。

51
00:05:55,040 --> 00:06:01,760
长程电脑操作因此需保持预期状态，不只是继续发送操作。

52
00:06:02,620 --> 00:06:08,520
Workflow-GYM 在受控专业软件环境与明确端到端结果下揭示这种要求。

53
00:06:09,460 --> 00:06:15,440
有用的区别是：到达最后窗口，还是生成用户请求的最终状态。

54
00:06:16,100 --> 00:06:22,000
重要依赖一直保持正确直到交付结果，流程才成功。