WEBVTT

1
00:00:00.260 --> 00:00:05.200
设想四个横向格子，标记需要到达最后一个格子。

2
00:00:06.000 --> 00:00:11.060
规则很简单：每步只移到相邻格子，不能跳过位置。

3
00:00:12.340 --> 00:00:18.200
一个序列经过所有中间格子，另一个直接跳到终点。

4
00:00:19.040 --> 00:00:23.020
它们停在同一格，但只有一条路径遵守规则。

5
00:00:24.000 --> 00:00:28.740
这是原创示意序列，不是论文评估模型生成的片段。

6
00:00:29.720 --> 00:00:34.960
它们说明最终画面不能单独证明视觉过程有效。

7
00:00:35.587 --> 00:00:43.467
VGI-Bench 研究生成视频表达的视觉推理，要求中间状态有效。

8
00:00:44.287 --> 00:00:49.207
模型接收作为首帧的输入图像，以及任务文字描述。

9
00:00:49.787 --> 00:00:56.447
指令规定目标、相关物体、允许操作和禁止的捷径。

10
00:00:57.327 --> 00:01:02.507
生成片段需朝目标推进，同时保留任务规则。

11
00:01:03.227 --> 00:01:09.727
静止片段可能避免违规，却没有进展；跳跃可能错误地到达终点。

12
00:01:10.467 --> 00:01:16.227
因此基准同时衡量目标完成和产生表面答案的过程。

13
00:01:16.713 --> 00:01:21.573
套件把二十七种任务归入四个互斥领域，

14
00:01:22.033 --> 00:01:23.973
依据的是各任务的视觉特点。

15
00:01:24.833 --> 00:01:28.313
视觉组织涉及排列或选择物体，

16
00:01:28.753 --> 00:01:32.833
物理操控涉及合理的物体交互。

17
00:01:33.513 --> 00:01:40.733
结构化谜题要求遵守明确规则，时空动态关注状态随时间的依赖。

18
00:01:41.693 --> 00:01:44.313
七种可重叠技能标签提供另一视角，

19
00:01:44.613 --> 00:01:49.473
包括规划、空间推理、时间推理和拓扑。

20
00:01:50.153 --> 00:01:54.013
一个任务属于一个领域，却可能同时需要多种技能。

21
00:01:54.873 --> 00:02:01.353
这种区分帮助判断失败来自任务类别还是某项底层技能。

22
00:02:02.020 --> 00:02:08.400
任务有三个难度等级，提示与初始图像按预期过程审核。

23
00:02:09.240 --> 00:02:15.160
基准采用照片真实感输入，减少与模型已学视觉外观的不匹配。

24
00:02:16.140 --> 00:02:20.920
接纳任务前，会让多个视频模型尝试少量最简单样本。

25
00:02:21.520 --> 00:02:24.860
至少一个被测模型需成功，同时至少一个需失败。

26
00:02:26.040 --> 00:02:32.740
这排除过于简单或完全不可行的方案，不认证每例都可解。

27
00:02:33.840 --> 00:02:36.800
抽象四格图只解释规则区别；

28
00:02:37.340 --> 00:02:39.980
它不代表基准的真实感输入风格。

29
00:02:40.427 --> 00:02:46.967
完成度用任务特定的完成、部分完成或失败等级衡量进展。

30
00:02:47.707 --> 00:02:52.547
这些等级在评估中映射为一、二分之一和零。

31
00:02:53.587 --> 00:02:59.187
独立规则表检查局部规则并计数违规，重点查看相关区间。

32
00:03:00.047 --> 00:03:05.947
违规越多，条目分数越低；规则分数再对条目求平均。

33
00:03:07.007 --> 00:03:12.967
最终分将完成度与规则遵守相乘，任一失败都会降低结果。

34
00:03:13.847 --> 00:03:19.527
该综合分不同于严格成功率，后者要求两项都完全正确。

35
00:03:20.147 --> 00:03:25.867
主要评估使用每个任务一半实例，按固定随机种子选择。

36
00:03:26.507 --> 00:03:31.747
Gemini 3 Flash 评估器对片段应用完成度与规则评价。

37
00:03:32.667 --> 00:03:37.687
表中 Seedance 2.0 的总体分最高，为五十一点零。

38
00:03:38.527 --> 00:03:44.667
所选其他行中，Kling 3 为四十四点零，Sora 2 为三十六点七。

39
00:03:45.767 --> 00:03:49.647
这些是公开生成配置下的综合基准分，

40
00:03:50.007 --> 00:03:53.067
不是通用视觉推理正确率。

41
00:03:54.087 --> 00:03:57.847
图像输出改编单独衡量静态目标呈现，

42
00:03:58.207 --> 00:04:00.667
不认证视频中间过程。

43
00:04:01.267 --> 00:04:05.927
另一分析研究去噪中解码的中间产物，

44
00:04:06.307 --> 00:04:08.747
而非成片时间线中的事件。

45
00:04:09.587 --> 00:04:12.967
实验抽样一百一十七个任务实例，

46
00:04:13.367 --> 00:04:16.927
比较被测开放模型的相邻解码检查点。

47
00:04:17.787 --> 00:04:24.807
稳定状态保持不变；自我纠错指可辨认的错误状态变为正确。

48
00:04:25.627 --> 00:04:29.867
从一种错误答案变为另一种错误答案，并不算纠错。

49
00:04:31.067 --> 00:04:37.987
这一抽样分析中，每对检查点的错到对转移不超过百分之零点九。

50
00:04:38.927 --> 00:04:44.867
该发现描述这些解码状态实验，不证明所有视频模型都缺乏内部推理。

51
00:04:45.453 --> 00:04:52.193
回到标记序列：都停在同一格，但一个跳过了必要中间状态。

52
00:04:53.053 --> 00:04:57.773
只有检查过程，这个区别才可见，不能只看最后一帧。

53
00:04:58.793 --> 00:05:05.133
有用的生成过程需推进目标，并保持相关规则与物体状态一致。

54
00:05:06.033 --> 00:05:11.693
VGI-Bench 通过任务设计和成对评价指标明确这两项要求。

55
00:05:12.453 --> 00:05:18.853
目标是诊断视觉智能，避免把画面精致误当成有效解答。

56
00:05:19.813 --> 00:05:24.313
观看片段时问两件事：是否到达目标，以及路径是否被允许？