WEBVTT

1
00:00:00.260 --> 00:00:06.420
部署后的智能体可能只收到任务指令，却没有现成的技能库或可靠的练习测试。

2
00:00:07.220 --> 00:00:12.480
OpenSkill 研究这种智能体如何同时构建有用的操作流程，以及评估该流程的方法。

3
00:00:13.140 --> 00:00:18.400
它的适应能力体现在外部技能产物中，而底层模型权重保持不变。

4
00:00:19.040 --> 00:00:24.440
这个流程把公开文档、代码仓库和其他开放世界资源作为学习材料。

5
00:00:25.120 --> 00:00:31.080
核心设计是分别获取用于技能的知识，以及用于测试的可验证依据。

6
00:00:31.780 --> 00:00:36.380
我们先跟着一个原创数据集报告示例，再查看实测结果能够支持什么结论。

7
00:00:37.087 --> 00:00:42.187
想象一项任务，要求根据公开数据集生成报告，并使用指定的输出格式。

8
00:00:42.827 --> 00:00:48.667
知识检索可以提供加载流程、文档中的库行为，以及有用的领域惯例。

9
00:00:49.347 --> 00:00:52.327
另一份检索产物提供验证依据：

10
00:00:52.907 --> 00:00:57.687
文档参考值、已知数据集不变量，或预期格式。

11
00:00:58.327 --> 00:01:04.647
在我们的示例中，已知行数和文档中的表格结构，为检查器提供了可执行的具体断言。

12
00:01:05.367 --> 00:01:11.387
这些检查评估输出的属性，而不是只问模型自己的回答看起来是否不错。

13
00:01:12.147 --> 00:01:18.267
这个示例没有包含隐藏基准答案；它用于展示外部事实如何转化为测试。

14
00:01:18.913 --> 00:01:24.393
检索到的知识会转化为结构化计划，描述技能架构、流程和领域规则。

15
00:01:24.933 --> 00:01:30.173
基础智能体按照计划起草一到四项技能，并在同一个会话中共同完善它们。

16
00:01:30.713 --> 00:01:35.753
因为技能是外部产物，其流程仍然可读，也可以传递给另一个智能体。

17
00:01:36.433 --> 00:01:41.093
报告示例中，技能连接输入加载与相关信息保留，

18
00:01:41.273 --> 00:01:42.653
以及写入所需输出。

19
00:01:43.553 --> 00:01:49.213
验证器是隔离的语言模型会话，依据验证材料生成确定性的可执行测试。

20
00:01:49.733 --> 00:01:52.173
独立会话隔离创建者的对话；

21
00:01:52.533 --> 00:01:55.413
但不会让代理测试与隐藏目标测试完全相同。

22
00:01:55.900 --> 00:01:59.680
当前技能会被执行，并接受自建虚拟测试集的评估。

23
00:02:00.260 --> 00:02:05.320
断言失败后会产生诊断信息：哪里失败、为何失败，以及应该修改什么。

24
00:02:06.240 --> 00:02:11.320
如果问题是知识缺口，而不是实现错误，流程会进行有针对性的检索。

25
00:02:12.160 --> 00:02:16.060
默认在虚拟测试通过后，或三轮改进后停止，

26
00:02:16.180 --> 00:02:17.820
另有预算与停滞控制。

27
00:02:18.640 --> 00:02:21.740
最终部署技能是停止时最后修订的版本，

28
00:02:21.980 --> 00:02:24.500
不是之后从多个版本中挑选的最优快照。

29
00:02:25.300 --> 00:02:30.880
虚拟测试成功仍然只是代理指标；后续目标评估会测量这些练习是否产生了有用行为。

30
00:02:31.427 --> 00:02:36.147
该架构在构建技能时隐藏真值测试定义和参考解答。

31
00:02:36.767 --> 00:02:41.327
检索查询也会过滤基准名称，以及可能指向隐藏测试材料的标识符。

32
00:02:42.147 --> 00:02:47.507
验证器接收任务环境和独立验证依据，并与技能创建者使用不同会话。

33
00:02:48.347 --> 00:02:52.527
附录 F 也描述了一个来自真值的通过或失败比特，

34
00:02:52.567 --> 00:02:54.747
用于再次要求验证器编写更深入测试时。

35
00:02:55.367 --> 00:03:00.747
论文指出，这次调用不会暴露测试内容、断言细节或预期值。

36
00:03:01.467 --> 00:03:03.547
因此边界主要针对隐藏内容；

37
00:03:04.107 --> 00:03:08.407
该描述不足以说明所有来自真值的信号都不存在。

38
00:03:09.220 --> 00:03:13.840
论文在八十四项任务上，对照虚拟验证器的决定与真值结果。

39
00:03:14.400 --> 00:03:20.220
报告的一致率为百分之六十点七，精确率为百分之五十六点九，召回率为百分之八十点五。

40
00:03:20.800 --> 00:03:24.800
此对比区分任务是否获得正的真值奖励，

41
00:03:25.180 --> 00:03:27.360
不是认证每个隐藏要求都已满足。

42
00:03:28.000 --> 00:03:32.180
独立十五任务样本中，语言模型评判器匹配虚拟测试，

43
00:03:32.260 --> 00:03:34.420
匹配对象是隐藏测试的预期目的。

44
00:03:34.960 --> 00:03:39.660
它发现一百三十五个测试目的中的一百二十个被覆盖，即百分之八十八点九。

45
00:03:40.320 --> 00:03:42.780
目的覆盖率与结果一致率是不同测量。

46
00:03:43.220 --> 00:03:46.160
两者都不表示代理通过必然是目标任务通过。

47
00:03:46.820 --> 00:03:50.660
主要 SkillsBench 比较覆盖十一个领域与两个目标智能体：

48
00:03:51.200 --> 00:03:52.780
Claude Code 中的 Opus 4.6，

49
00:03:53.220 --> 00:03:55.020
以及 Codex 中的 GPT-5.2。

50
00:03:55.620 --> 00:04:00.480
Opus 的总体通过率从无技能时百分之二十五点五，

51
00:04:00.860 --> 00:04:03.120
升至 OpenSkill 下的百分之四十三点六。

52
00:04:03.700 --> 00:04:08.000
对于 GPT-5.2，该数值从百分之二十五升至百分之四十二点一。

53
00:04:08.900 --> 00:04:14.980
这些结果对应被评估的智能体、框架和任务配置，而不是只针对模型的因果对比。

54
00:04:15.700 --> 00:04:19.920
SocialMaze 和 ScienceWorld 在论文评估中提供了另外两种任务类型。

55
00:04:20.780 --> 00:04:23.640
外部技能产物在目标部署之前被冻结，

56
00:04:24.080 --> 00:04:26.780
目标测试决定最终测得结果。

57
00:04:27.267 --> 00:04:33.107
OpenSkill 把开放世界学习与有外部依据的练习结合起来，同时保持模型权重不变。

58
00:04:33.667 --> 00:04:38.047
报告示例展示关键分工：学习如何生成产物，

59
00:04:38.227 --> 00:04:40.807
并独立规定值得检查的属性。

60
00:04:41.367 --> 00:04:47.127
诊断信息修订流程，冻结后的技能把学到的流程带入后续目标执行。

61
00:04:47.787 --> 00:04:53.567
论文还把 Opus 生成的技能部署给其他四个模型，而不重新训练或重新生成这些技能。

62
00:04:54.347 --> 00:04:59.667
有用适应需要可检查技能、有依据测试与测得目标结果，

63
00:05:00.067 --> 00:05:02.067
同时准确说明信息边界。

64
00:05:02.627 --> 00:05:06.547
实际问题是可用资源中学到的技能是否有帮助，

65
00:05:06.587 --> 00:05:08.867
特别在真正需要执行任务时。