1
00:00:00,480 --> 00:00:04,720
设想智能体反复将测量表格整理为短报告。

2
00:00:05,320 --> 00:00:08,360
其工具库也包含许多无关工具。

3
00:00:09,140 --> 00:00:14,700
每个请求都要为这份工具菜单占用上下文，模型还必须判断哪些工具有用。

4
00:00:15,800 --> 00:00:22,040
LOTS 研究系统能否从此前的输出经验中学习，为这类重复任务保留哪些工具。

5
00:00:22,880 --> 00:00:28,020
它改变的是持久的任务专属工具空间，而模型参数保持不变。

6
00:00:28,740 --> 00:00:35,060
这个方法叫作“仅基于似然的工具评分”，它依据的是工具实际产生的输出。

7
00:00:35,720 --> 00:00:41,480
我们先看一份示意性报告，再看看单次请求的测量如何转化为可复用的部署选择。

8
00:00:42,427 --> 00:00:48,047
假设表格读取工具返回二十摄氏度，而换算工具返回六十八华氏度。

9
00:00:48,527 --> 00:00:54,067
智能体写道，这个读数为六十八华氏度。此时，LOTS 固定这份已生成的回答。

10
00:00:54,587 --> 00:00:59,527
它记录支持这份回答的上下文，包括工具调用和观察到的输出。

11
00:01:00,167 --> 00:01:05,107
然后，它移除归属于某个工具的证据，并对完全相同的回答再次评分。

12
00:01:05,767 --> 00:01:11,167
这个对比并不要求智能体重新生成另一份回答，也不评判原回答是否正确。

13
00:01:11,707 --> 00:01:16,787
它检查的是，上下文改变之后，固定模型对这些回答词元的支持有多强。

14
00:01:17,400 --> 00:01:21,360
分数是保留记录证据时回答的平均对数似然，

15
00:01:21,860 --> 00:01:24,700
减去干预之后回答的平均对数似然。

16
00:01:25,280 --> 00:01:32,000
以一个纯粹的示意计算为例，假设这两个值分别为负零点四和负零点九。

17
00:01:32,460 --> 00:01:37,480
两者之差为正零点五：移除那份证据后，相同回答的似然降低了。

18
00:01:38,320 --> 00:01:40,260
其他工具仍在评分上下文中。

19
00:01:40,920 --> 00:01:44,680
针对不同基准的干预也处理后续工具依赖。

20
00:01:45,300 --> 00:01:49,000
正贡献表示支持这份已生成输出。

21
00:01:49,420 --> 00:01:51,960
它不是对工具或回答正确性的认证。

22
00:01:52,440 --> 00:01:57,280
所收集的信号是模型对证据的依赖，这个评分步骤不使用正确性标签。

23
00:01:57,893 --> 00:02:04,613
一次执行只是一次观察，LOTS 会汇总同类任务中可评分请求的贡献。

24
00:02:05,493 --> 00:02:11,233
每个工具的优先级，是它在提供可用评分证据的请求上的平均贡献。

25
00:02:12,753 --> 00:02:16,373
如果某个工具没有出现在一次请求中，这次请求就不会为它提供证据。

26
00:02:17,933 --> 00:02:22,793
工具被排序后，预算范围内排名靠前的子集成为后续请求使用的已存储工具空间。

27
00:02:24,253 --> 00:02:26,933
还需另一个决定：保留多少工具。

28
00:02:28,073 --> 00:02:31,253
报告实验使用拟合标签帮助选择这个预算。

29
00:02:31,833 --> 00:02:38,573
因此，似然排序不需要标签，但实验中的预算选择程序并非完全不使用标签。

30
00:02:39,513 --> 00:02:45,793
选中的工具空间是附属于重复任务的部署状态，而不是每次请求都重新搜索。

31
00:02:46,593 --> 00:02:51,433
后续请求复用这份菜单，从而避免再对整个工具库进行一次选择。

32
00:02:52,353 --> 00:02:57,673
如果有新的输出轨迹，相同的测量和汇总程序可以更新已存储的优先级。

33
00:02:58,513 --> 00:03:04,733
新出现的任务会获得自己的工具空间；创建它不会覆盖已有任务的配置。

34
00:03:05,653 --> 00:03:09,393
论文还测试了由一个模型拟合排序，再交给另一个模型使用的情况。

35
00:03:10,093 --> 00:03:14,733
BFCL 中，迁移排序优于执行模型的全菜单基线，

36
00:03:14,813 --> 00:03:17,153
二十组跨模型配对中有十八组如此。

37
00:03:17,893 --> 00:03:22,433
受控 TGB 基准有四千请求与十个任务族，

38
00:03:22,553 --> 00:03:24,853
以及十五个工具，其中包括干扰工具。

39
00:03:25,593 --> 00:03:29,593
每个任务族使用八十个拟合请求和三百二十个评估请求。

40
00:03:30,353 --> 00:03:35,813
Qwen3-8B 使用所有工具时准确率为百分之五十六点五；

41
00:03:36,373 --> 00:03:38,293
LOTS 达到百分之八十一点五。

42
00:03:38,873 --> 00:03:45,153
在这个受控设置中，提升为二十五个百分点；八个被评估的 TGB 模型都优于完整菜单。

43
00:03:46,033 --> 00:03:48,613
BFCL 衡量完整多轮调用序列，

44
00:03:48,993 --> 00:03:52,213
GTA-Atomic 评估可执行 ReAct 工具使用。

45
00:03:53,053 --> 00:03:56,053
GTA-Atomic 中，LOTS 改善七模型中的六个，

46
00:03:56,513 --> 00:03:58,613
所以收益较广，但非普遍成立。

47
00:03:59,393 --> 00:04:05,793
持久排序把构建工作与后续请求的执行分开；判断效率时，两部分成本都很重要。

48
00:04:06,413 --> 00:04:12,873
TGB 任务剪枝减少执行提示词元百分之三十三至四十六，

49
00:04:13,193 --> 00:04:14,733
相比使用全部十五个工具。

50
00:04:15,413 --> 00:04:19,253
对一个 GTA-Atomic 任务，论文将工具选择词元，

51
00:04:19,313 --> 00:04:22,293
与执行评估请求的词元一并计入成本。

52
00:04:22,893 --> 00:04:28,213
按此统计，LOTS 词元约为 TTO 的四分之一至二分之一，

53
00:04:28,613 --> 00:04:30,713
相比束搜索，节省幅度更大。

54
00:04:31,533 --> 00:04:35,933
这些是在特定范围内的词元成本对比，并不是对所有情况测得的运行时间加速。

55
00:04:36,433 --> 00:04:41,313
实际收益来自把有用的工具选择证据保留下来，服务于重复出现的工作。

56
00:04:41,940 --> 00:04:47,500
LOTS 把观察到的工具输出，转化为持久任务专属行动空间中的优先级。

57
00:04:48,080 --> 00:04:53,420
固定回答的对比让机制可以被检查：当一个工具的证据消失时，什么发生了变化？

58
00:04:54,420 --> 00:04:58,640
汇总检查的是，这份证据是否持续支持同类任务的后续示例。

59
00:04:59,240 --> 00:05:04,360
部署阶段复用更小的菜单，新轨迹可以修改菜单，而不更新底层模型。

60
00:05:05,460 --> 00:05:10,880
在整个解释中，似然评分、预算选择，以及任务正确性，始终是不同的判断。

61
00:05:11,560 --> 00:05:13,680
结果提供具体适应路径：

62
00:05:14,120 --> 00:05:18,840
保留支持重复工作输出的工具，再测试最终配置。