WEBVTT

1
00:00:00.320 --> 00:00:06.640
想象搜索配送政策，了解电池能否航空运输，候选中有几篇相关文档。

2
00:00:07.380 --> 00:00:14.400
检索器找到配送、损坏商品和航空运输文段，但相关程度不同。

3
00:00:15.260 --> 00:00:21.320
重排器需要找出能回答问题的输入文段，再改善候选顺序。

4
00:00:22.220 --> 00:00:26.660
文档是虚构教学示例；展示标题描述角色，而非实际基准文段。

5
00:00:27.660 --> 00:00:33.400
可以顺序生成候选标识，但这在估计文档相关性之外引入额外计算。

6
00:00:34.440 --> 00:00:39.200
CompRank 围绕直接给候选项评分组织计算，并减少比较所需词元。

7
00:00:39.740 --> 00:00:45.080
CompRank 在查询决策块前放置独立文档块，随后给输入候选项评分。

8
00:00:45.980 --> 00:00:52.240
每篇文档内部使用因果自注意力，根据自身上下文构建表示。

9
00:00:53.140 --> 00:00:58.400
词元不能跨文档块关注，消除表示构建时对邻近候选项的依赖。

10
00:00:59.420 --> 00:01:05.060
局部位置索引避免文档顺序偏移，减少一种候选排列敏感来源。

11
00:01:06.000 --> 00:01:11.780
查询块仍可看到全部文档块，在估计相关性时保留全局候选视野。

12
00:01:12.560 --> 00:01:18.120
因此，独立文档状态原则上可以跨查询和重排候选列表复用。

13
00:01:18.700 --> 00:01:25.580
独立文档编码移除文档间交互，但查询注意力仍随文档词元数增长。

14
00:01:26.420 --> 00:01:33.500
压缩只向查询块提供选定文档键值状态，减少最终交互成本。

15
00:01:34.680 --> 00:01:41.140
文档表示保持不变；子集决定哪些词元参与查询到文档评分注意力。

16
00:01:42.100 --> 00:01:47.760
分段选择每隔若干位置保留词元，覆盖全篇，而非只覆盖末尾。

17
00:01:48.720 --> 00:01:54.660
示意位置编号展示规则间隔，不声称实验保留了哪些具体词。

18
00:01:55.520 --> 00:02:01.780
默认 Step-10 使用这种覆盖，在较小注意力预算与排序质量间权衡。

19
00:02:02.480 --> 00:02:08.320
评分汇总查询分给各文档保留词元的注意力权重，将其视为相关性证据。

20
00:02:09.200 --> 00:02:15.100
注意力跨保留文档词元归一化，再聚合成各候选项得分。

21
00:02:15.840 --> 00:02:22.100
主 Mistral 配置使用一个决策词元，在固定层跨注意力头平均得分。

22
00:02:23.120 --> 00:02:26.960
推理按注意力得分排列文档，直接产生输入候选项的顺序。

23
00:02:27.440 --> 00:02:32.580
不生成自回归标识序列，因此评分避免顺序解码排序字符串。

24
00:02:33.240 --> 00:02:38.820
输出是候选顺序，而不是重建文档文本或生成原始查询的回答。

25
00:02:39.587 --> 00:02:46.047
生成目标通过完整词表学习文档标识输出，其中包含与有效候选项无关的词元。

26
00:02:47.067 --> 00:02:52.847
CompRank 用同一组注意力文档得分，在输入候选项上构造指针分布。

27
00:02:53.667 --> 00:03:00.027
CopyNet 式损失直接监督相关候选项，使学习评分与推理排序一致。

28
00:03:01.207 --> 00:03:07.247
这预测候选选择，而非自回归标识，让训练目标匹配重排所需决策。

29
00:03:08.247 --> 00:03:14.827
实验使用 Mistral-7B、三十文档训练列表，以及来自 MS MARCO 的正例。

30
00:03:15.667 --> 00:03:23.087
七个 BEIR 数据集上，重排器共用每查询的百个 BM25 候选。

31
00:03:23.627 --> 00:03:32.827
表一在 CompRank 内比较压缩策略，指标为七 BEIR 数据集平均 NDCG@10。

32
00:03:33.627 --> 00:03:40.307
完整词元版本保留全部文档词元，报告平均指标为三十九点七。

33
00:03:41.207 --> 00:03:47.287
Step-10 保留百分之十点二的词元，得分三十九点二，低半点。

34
00:03:47.987 --> 00:03:53.867
词元保留描述注意力输入预算；NDCG 描述排序效果，两者含义不同。

35
00:03:54.547 --> 00:04:00.787
平均值综合七数据集得分，而非任务完成率，也不承诺每格提升。

36
00:04:01.487 --> 00:04:07.447
匹配比较支持结构化文档覆盖的高效性，但更强压缩仍会牺牲排序性能。

37
00:04:08.047 --> 00:04:14.267
另一项 TREC-COVID 测试在三十文档列表训练，随后无需再微调评估最多五百候选。

38
00:04:15.007 --> 00:04:21.027
五百候选时，生成式 Direct-List 每查询耗时一百一十四点五秒。

39
00:04:21.947 --> 00:04:27.987
相同候选数下，完整词元 CompRank 为十六点二二秒，Step-10 为十二秒。

40
00:04:29.187 --> 00:04:34.967
端到端测时使用一张八十 GB 显存的 A100 GPU，批大小为一。

41
00:04:35.927 --> 00:04:41.307
实测流程仍重新计算文档块；优化 KV 缓存是此测量之外的设计机会。

42
00:04:42.167 --> 00:04:48.107
实测收益因此结合免解码评分与压缩查询注意力，不归因于尚未实现的服务优化。

43
00:04:48.647 --> 00:04:55.007
回到政策搜索：选择有用输入证据，而非在输出阶段编写文档标识。

44
00:04:55.947 --> 00:05:02.307
CompRank 分离文档表示，让查询看到结构化子集，并排列注意力候选得分。

45
00:05:03.267 --> 00:05:08.847
候选级监督训练这些相同得分，把学习目标连接到推理时使用的直接操作。

46
00:05:09.867 --> 00:05:15.607
设计把计算用于比较所需的稀疏信号，而非每对文档之间的密集交互。

47
00:05:16.587 --> 00:05:22.327
质量与延迟证据对应指定基准配置，并区分状态复用潜力与实测端到端服务。

48
00:05:23.287 --> 00:05:29.607
实际启示是让表示、计算和监督与检索系统真正需要的相关性决策一致。