WEBVTT

1
00:00:00.240 --> 00:00:06.680
看一个原创计数题：三个盒子各有四颗珠子，再加五颗珠子。

2
00:00:07.260 --> 00:00:13.240
正确总数为十七，但未完成回答的推理和结果中仍有缺口。

3
00:00:14.020 --> 00:00:19.840
想象部分词逐渐可见，而其他位置仍被遮蔽，回答逐步成形。

4
00:00:20.620 --> 00:00:25.800
后来更完整的版本可能包含早期噪声视图尚未明确的线索。

5
00:00:26.560 --> 00:00:32.479
这些词元框是示意图，不是基准题或实际模型解码轨迹。

6
00:00:33.180 --> 00:00:38.540
论文探索自身生成的后期信息能否训练扩散模型，改进其早期决策。

7
00:00:39.167 --> 00:00:46.027
扩散语言模型从响应词元全部遮蔽的状态出发，通过迭代去噪生成。

8
00:00:46.927 --> 00:00:52.387
每一步预测遮蔽位置的分布，而不是只确定从左到右的下一个词元。

9
00:00:53.187 --> 00:00:59.167
选中高置信预测变为可见，其余位置继续遮蔽，等待后续更可靠的信息。

10
00:01:00.007 --> 00:01:06.487
当前噪声状态和最终干净响应因此属于同一采样生成轨迹的不同时刻。

11
00:01:07.327 --> 00:01:13.547
任意顺序结构允许利用后期信息，而不把指导限制在从左到右的前缀。

12
00:01:14.507 --> 00:01:20.507
方法在训练中利用这一性质，把模型完成的响应转成教师专属上下文。

13
00:01:21.100 --> 00:01:28.220
学生先采样自己的完整轨迹，保存早期噪声状态与最终生成响应。

14
00:01:29.200 --> 00:01:35.200
对早期去噪步骤，学生输入仍是当前噪声状态与原始提示。

15
00:01:36.340 --> 00:01:42.160
教师视图在当前遮蔽位置选择性揭示完成响应中的词元。

16
00:01:43.040 --> 00:01:47.900
只揭示子集，因此特权上下文提供线索，同时仍留下教师分布的预测任务。

17
00:01:48.860 --> 00:01:54.060
两角色源自同一扩散模型，但不同视图为下一步预测提供不同信息。

18
00:01:54.960 --> 00:02:01.060
后期信息来自已完成采样响应，并非时间旅行或未见测试答案的外部知识。

19
00:02:01.673 --> 00:02:06.713
学习目标遵循去噪过程，比较当前生成步骤的学生与教师分布。

20
00:02:07.773 --> 00:02:14.813
当前遮蔽词元中，只有选中高置信位置主动决定该步下一状态。

21
00:02:15.853 --> 00:02:21.933
方法把散度损失集中在该子集，而非把每位置视为独立的从左到右续写。

22
00:02:23.013 --> 00:02:29.793
教师在这些位置提供密集词表级指导，比单一最终正确性奖励提供更多信息。

23
00:02:30.813 --> 00:02:36.533
默认用教师置信度选择监督遮蔽位置，这一选择由报告消融实验支持。

24
00:02:37.753 --> 00:02:43.333
训练沿采样轨迹汇总逐步指导，使目标与扩散响应实际展开方式一致。

25
00:02:43.953 --> 00:02:50.893
用于指导的完整响应由学生自身生成，保持同策略采样。

26
00:02:51.752 --> 00:02:57.653
默认方案持续采样直到出现正确最终答案，或达到八次尝试预算。

27
00:02:58.613 --> 00:03:06.733
任务专属检查筛选有用后期信息；Sudoku 使用分数门槛，而非二元答案匹配。

28
00:03:07.693 --> 00:03:14.293
训练沿完整采样去噪轨迹展开，而非只对静态参考响应进行一次人工前向计算。

29
00:03:15.413 --> 00:03:21.193
默认还把教师策略固定在初始检查点，使学生参数变化时拥有稳定参考。

30
00:03:22.133 --> 00:03:27.073
教师额外信息来自增强条件视图，而模型更新应用于学习者。

31
00:03:27.547 --> 00:03:34.827
实验使用LLaDA-8B-Instruct扩散模型，评估四项数学推理与规划任务。

32
00:03:35.486 --> 00:03:43.087
任务为GSM8K、MATH500、Countdown及四乘四Sudoku，沿用基准设置。

33
00:03:43.867 --> 00:03:50.007
训练使用低秩适应，默认反向 KL，并为教师上下文保留四分之一适用词元。

34
00:03:50.747 --> 00:03:55.547
默认训练响应长度为二百五十六词元，评估长度则取决于任务类别。

35
00:03:56.367 --> 00:04:01.627
五百零一步前每二十五步检查性能，报告结果选择评估过的最佳检查点。

36
00:04:02.327 --> 00:04:08.747
这些细节明确比较对象：特定模型、蒸馏方案、任务、生成长度和检查点选择策略。

37
00:04:09.193 --> 00:04:17.953
看GSM8K生成长度256列，使用报告的LLaDA-8B-Instruct扩散模型。

38
00:04:18.673 --> 00:04:24.113
基础模型得分为百分之七十六，报告的 diffusion GRPO 基线为百分之七十九点八。

39
00:04:24.753 --> 00:04:31.073
扩散同策略自蒸馏达到百分之八十一，在此设置下优于该基线。

40
00:04:32.273 --> 00:04:37.693
表一还有其他任务与生成长度，因此比较必须限定在展示配置。

41
00:04:38.653 --> 00:04:44.093
MATH500 长度五百一十二时，GRPO 报告三十九点二。

42
00:04:44.753 --> 00:04:49.093
所提方法在同一任务与生成长度下报告三十七点八。

43
00:04:49.893 --> 00:04:55.453
因此，报告提升并不意味着所提方法赢得表中每一格。

44
00:04:56.333 --> 00:05:01.833
图表展示一项精确推理比较，保留基础模型、基线、生成长度与评估范围。

45
00:05:02.520 --> 00:05:08.160
论文还报告优化步数，展示有用教师分布如何更快指导学习者。

46
00:05:09.220 --> 00:05:16.620
GSM8K 表二列出基线七千七百步，d-OPSD 为四百二十五步。

47
00:05:17.500 --> 00:05:23.840
基线步数来自原报告，因此这些数字描述优化步数，而非匹配的运行时间测量。

48
00:05:24.720 --> 00:05:30.940
方法把密集监督联系到这种效率，但每步采样仍消耗轨迹生成计算。

49
00:05:31.940 --> 00:05:37.860
回到未完成珠子回答：经过检查的后期响应，为早期遮蔽预测状态提供指导线索。

50
00:05:38.940 --> 00:05:45.560
随后用普通生成过程评估学习模型；训练专属特权上下文用于改善参数。

51
00:05:46.640 --> 00:05:53.380
实际思想是把自身生成的后期上下文与逐步对齐监督配对，适配迭代扩散推理。