1
00:00:00,420 --> 00:00:04,560
智能体可以玩很多次游戏，却未必学到一种能帮助它处理下一块棋盘的策略。

2
00:00:05,320 --> 00:00:09,200
S3Gym 测试交互经验能否转化为更好的未来行为，

3
00:00:09,640 --> 00:00:11,600
而不只衡量固定策略。

4
00:00:12,120 --> 00:00:17,320
它区分三种能力：自我测试收集经验，自我评判评价经验，

5
00:00:17,680 --> 00:00:19,760
自我改进改变后续决策。

6
00:00:20,500 --> 00:00:25,880
该基准在七款基于文本的游戏中实现这个过程，并提供可执行的环境验证器。

7
00:00:26,480 --> 00:00:29,800
模型给出的分数，与环境验证的结果保持分离。

8
00:00:30,520 --> 00:00:36,260
我们将使用一个原创扫雷示例，展示有用观察与可迁移规则之间的差别。

9
00:00:36,913 --> 00:00:42,933
假设一个已揭开的扫雷格子提示相邻位置有一颗雷，而那颗雷已经确定并标记。

10
00:00:43,573 --> 00:00:48,453
由于局部约束已满足，其余相邻的未知格子可以安全揭开。

11
00:00:49,233 --> 00:00:52,573
可复用的经验是对照提示计算已知地雷。

12
00:00:53,313 --> 00:00:55,993
仅记住点击坐标，会丢失这个推理过程。

13
00:00:56,753 --> 00:01:02,713
在新棋盘上，同一坐标可能需要不同操作，因此规则必须结合当前状态来应用。

14
00:01:03,453 --> 00:01:07,793
这是一个示意性的约束示例，不是基准中记录的执行，也没有报告实测分数。

15
00:01:08,673 --> 00:01:13,713
S3Gym 检查智能体能否完成这种转化：把过去经验变成新条件下的决策。

16
00:01:14,353 --> 00:01:18,193
探索阶段，智能体与条件较宽松的游戏配置交互，

17
00:01:18,253 --> 00:01:20,833
收集成功和失败的轨迹。

18
00:01:21,413 --> 00:01:27,113
以扫雷为例，探索阶段提供两条额外生命，而评估时，第一次踩雷就会结束该局。

19
00:01:27,773 --> 00:01:32,553
其他游戏会在两个阶段之间改变棋盘大小、失败处理方式，或对手难度。

20
00:01:33,473 --> 00:01:39,673
探索和评估使用不重叠的随机种子，评估轨迹也不会进入记忆或训练数据。

21
00:01:40,533 --> 00:01:44,953
主要上下文实验中，三十局探索每隔三局接受一次检查，

22
00:01:45,253 --> 00:01:47,733
每个检查点使用三局严格评估。

23
00:01:48,473 --> 00:01:53,993
测量的问题是经验能否迁移到更严格的条件，而不是复现一次幸运的探索结果。

24
00:01:54,453 --> 00:02:00,813
历史上下文学习，把先前的观察、动作和自评分数直接放进后续上下文。

25
00:02:01,453 --> 00:02:06,333
它保留详细证据，但这些证据占用上下文，而且仍需要被正确使用。

26
00:02:07,293 --> 00:02:12,673
摘要记忆把轨迹压缩为规则、错误和后续方向，用来指导下一局。

27
00:02:13,513 --> 00:02:17,353
参数训练把选定或修正后的经验转化为监督更新，

28
00:02:17,753 --> 00:02:19,333
使变化体现在模型权重中。

29
00:02:20,293 --> 00:02:24,873
这些方式形成了不同的信息瓶颈：保留细节、压缩细节，或把经验内化。

30
00:02:25,913 --> 00:02:30,413
S3Gym 比较它们的结果，而不假设更多交互会自动带来改进。

31
00:02:31,213 --> 00:02:36,093
每一步中，模型提出一个动作，并按照游戏规则估计该动作的即时奖励。

32
00:02:36,793 --> 00:02:38,953
这个估计不只是置信度标签。

33
00:02:39,393 --> 00:02:43,893
它影响经验如何被选取、摘要，或转成训练数据。

34
00:02:44,753 --> 00:02:50,933
环境返回可见反馈，但在探索阶段，验证器计算的奖励仍保留在基准侧。

35
00:02:51,933 --> 00:02:55,353
论文在九十八次执行中对照自我评判与这些奖励，

36
00:02:55,713 --> 00:02:58,033
共涉及超过十一万六千次状态转移。

37
00:02:58,973 --> 00:03:03,653
当很多状态转移奖励为零时，对结果是否为正的一致率可能显得很高；

38
00:03:04,333 --> 00:03:06,213
奖励大小还需要另外检查。

39
00:03:07,173 --> 00:03:12,313
准确的局部评分本身，并不能可靠预测下一个评估检查点的表现会改善。

40
00:03:12,953 --> 00:03:16,173
摘要比较在每组中使用相同模型和游戏，

41
00:03:16,233 --> 00:03:19,213
并评估相对于起始基线的持续改进。

42
00:03:19,733 --> 00:03:25,873
在俄罗斯方块中，摘要在七组配对比较中赢了五组；原始历史赢了一组，还有一组持平。

43
00:03:26,573 --> 00:03:30,273
在扫雷中，原始历史赢了四组，摘要赢了三组。

44
00:03:31,113 --> 00:03:37,433
论文认为，有效摘要通常包含精简且可复用的抽象，例如保持俄罗斯方块堆叠表面的稳定。

45
00:03:38,173 --> 00:03:44,033
对状态敏感的游戏，则需要局部棋盘配置、时机和危险位置；压缩可能丢弃这些信息。

46
00:03:44,833 --> 00:03:48,153
好的记忆需要保留执行规则所需的信息，

47
00:03:48,613 --> 00:03:50,693
而不仅是一条听起来合理的建议。

48
00:03:51,213 --> 00:03:56,893
参数训练研究在二十个检查点上评估 Qwen3-8B，其中包括原始模型。

49
00:03:57,473 --> 00:04:04,033
严格评估不使用历史上下文学习或摘要记忆，因此这一路径测试的是参数更新。

50
00:04:04,593 --> 00:04:07,953
信任演化游戏中的分数从零升至最高三十，

51
00:04:08,293 --> 00:04:11,733
并在十九个更新检查点中的十八个超过初始基线。

52
00:04:12,393 --> 00:04:17,473
在植物大战僵尸中，初始分数为二十三，但每个更新后的检查点都得到六分。

53
00:04:18,113 --> 00:04:22,213
这些提升和退步对应这一模型和训练配置；不同游戏的分数采用不同尺度。

54
00:04:23,052 --> 00:04:26,373
持久的参数变化可能内化有用经验，

55
00:04:26,753 --> 00:04:29,393
同时也可能覆盖先前有效的行为。

56
00:04:30,067 --> 00:04:35,167
S3Gym 把经验驱动的改进转化为一个可以分别检查各阶段的过程。

57
00:04:35,867 --> 00:04:39,707
测试应收集有信息量的证据。评判应识别其价值。

58
00:04:40,207 --> 00:04:42,687
复用应产生适合新状态的动作。

59
00:04:43,587 --> 00:04:48,847
扫雷示例说明了为什么约束规则与过去的坐标包含不同信息。

60
00:04:49,687 --> 00:04:55,567
实测结果显示，记忆的收益依赖于任务，参数训练既可能带来正面作用，也可能带来负面作用。

61
00:04:56,407 --> 00:04:59,727
有说服力的改进循环，需要由环境测量迁移效果，

62
00:04:59,807 --> 00:05:02,286
同时仔细评判和选择经验。

63
00:05:02,967 --> 00:05:08,267
关键问题是：智能体学到了真正能用的经验之后，下一次决策发生了什么变化？