1
00:00:00,340 --> 00:00:03,720
编码器把图像转成连续特征向量。

2
00:00:04,560 --> 00:00:07,860
向量量化为每个向量赋予离散地址：

3
00:00:08,600 --> 00:00:10,660
找到学习得到的码本中最近的条目，

4
00:00:11,160 --> 00:00:16,020
用它替换特征，再让解码器根据所选条目重建图像。

5
00:00:16,980 --> 00:00:19,200
这里是一个原创二维示意。

6
00:00:19,980 --> 00:00:24,960
小点代表编码器输出，大的彩色点代表码向量。

7
00:00:25,640 --> 00:00:28,000
连线表示最近邻选择。

8
00:00:28,760 --> 00:00:33,040
右侧计数由这片小点云计算得出，并不是视觉标记化模型基准的结果。

9
00:00:33,733 --> 00:00:37,513
保持特征点云不变，但把码本条目放在一侧。

10
00:00:38,333 --> 00:00:45,393
有些条目完全没有点选择，另一些条目获得许多分配，其中包括距离很远的点。

11
00:00:46,513 --> 00:00:50,793
增加条目并不自动为这片点云提供有用的代表。

12
00:00:51,933 --> 00:00:54,933
这幅图体现了两篇论文的动机。

13
00:00:55,773 --> 00:00:59,753
它们研究特征分布与码向量分布之间的不匹配。

14
00:01:00,693 --> 00:01:03,813
码本坍塌意味着许多条目未被使用；

15
00:01:04,473 --> 00:01:10,013
几何匹配不好时，用远处码向量替换特征会引入较大失真。

16
00:01:11,007 --> 00:01:14,607
较早的二零二五年论文已经把三个指标结合起来。

17
00:01:15,287 --> 00:01:19,447
量化误差衡量特征到所选码向量的距离。

18
00:01:20,187 --> 00:01:23,707
利用率衡量每个码向量是否至少被选择过一次。

19
00:01:24,747 --> 00:01:28,947
码本困惑度衡量分配在各条目之间是否均衡。

20
00:01:29,867 --> 00:01:31,307
覆盖与均衡是不同的。

21
00:01:31,967 --> 00:01:35,607
只使用一次和反复使用的码向量都算被使用。

22
00:01:36,007 --> 00:01:39,807
因此，一个所有条目都被用到的码本，仍可能存在高度集中的分配。

23
00:01:40,667 --> 00:01:44,787
这三个问题应该一起看，而不是用一个百分比概括全部表现。

24
00:01:45,433 --> 00:01:48,413
较早的方法加入分布匹配目标。

25
00:01:49,073 --> 00:01:53,013
在高斯近似下，Wasserstein 距离可以计算，

26
00:01:53,093 --> 00:01:56,793
依据是两片点云估计的均值和协方差矩阵。

27
00:01:57,613 --> 00:02:02,133
均值描述位置，协方差描述扩散程度和方向。

28
00:02:03,113 --> 00:02:05,533
仅匹配中心，仍不能检查分布形状。

29
00:02:07,293 --> 00:02:10,093
这个辅助目标补充最近码向量分配。

30
00:02:11,073 --> 00:02:17,392
后来的论文明确让匹配项的梯度只更新码本，并截断该项对编码器的梯度。

31
00:02:18,333 --> 00:02:21,273
它鼓励代表向量贴合特征分布；

32
00:02:21,673 --> 00:02:25,033
并不是强迫编码器生成高斯点云。

33
00:02:25,787 --> 00:02:31,227
二零二六年的记录通过最大均值差异，也就是 MMD，扩展了这个框架。

34
00:02:31,947 --> 00:02:35,787
它用核函数比较样本，不需要指定高斯分布形式。

35
00:02:36,507 --> 00:02:39,927
两种匹配方法的辅助损失都更新码本参数，

36
00:02:40,267 --> 00:02:42,727
同时截断该项对编码器的梯度。

37
00:02:43,427 --> 00:02:46,087
当点云存在多个分离的模式时，这一点尤其相关。

38
00:02:46,827 --> 00:02:51,447
后来论文的双峰合成实验中，接近高斯时两方法表现相近；

39
00:02:52,047 --> 00:02:56,327
模式间距增大后，MMD 获得更好的误差和利用率。

40
00:02:56,987 --> 00:03:00,627
其计时研究也显示，样本两两核比较需要更多计算。

41
00:03:01,273 --> 00:03:04,533
方法中有一个重要的实验细节。

42
00:03:05,393 --> 00:03:09,013
原始量化误差依赖特征分布的方差。

43
00:03:09,693 --> 00:03:12,313
如果两个编码器产生不同尺度的点云，

44
00:03:12,733 --> 00:03:17,093
直接比较误差不能单独反映量化器对自身点云的表示能力。

45
00:03:17,873 --> 00:03:22,953
因此，后来论文在比较三个指标时使用受控的合成特征。

46
00:03:23,913 --> 00:03:28,553
教学示意保持小点不变，只改变码本位置。

47
00:03:29,253 --> 00:03:31,213
这样使几何比较更容易理解。

48
00:03:32,073 --> 00:03:35,913
实际训练模型的图像重建表现则另行评估。

49
00:03:36,627 --> 00:03:39,467
现在把示意图与测量结果分开。

50
00:03:40,147 --> 00:03:46,967
后来论文的 FFHQ VQ-VAE 表中，两行都使用二百五十六个 token，

51
00:03:47,027 --> 00:03:50,287
码本含一万六千三百八十四个条目。

52
00:03:51,167 --> 00:03:55,827
普通向量量化的 PSNR 为二十七点八三分贝。

53
00:03:56,587 --> 00:03:59,647
Wasserstein 量化为二十九点零三分贝。

54
00:04:00,547 --> 00:04:04,467
同组中，普通方法的码本利用率为百分之三点八，

55
00:04:04,807 --> 00:04:06,627
Wasserstein 方法为百分之一百。

56
00:04:07,547 --> 00:04:10,067
这些结果对应这一数据集和配置。

57
00:04:10,727 --> 00:04:15,147
PSNR 衡量重建保真度，不是原始量化误差，

58
00:04:15,547 --> 00:04:18,527
教学点云也不代表这个实验。

59
00:04:19,213 --> 00:04:21,393
这是两个不同的 arXiv 记录。

60
00:04:21,853 --> 00:04:27,833
较早的记录建立分布匹配视角、三个评价指标和基于 Wasserstein 的方法。

61
00:04:28,513 --> 00:04:32,213
后来的记录提出更广泛框架，也包含 MMD，

62
00:04:32,513 --> 00:04:35,973
并明确比较两方法在不同特征分布下的表现。

63
00:04:37,073 --> 00:04:40,733
阅读时可以把它们看作相互联系的研究故事，同时保留各自的日期与证据。

64
00:04:41,533 --> 00:04:45,433
扩展不是二零二六年才突然能测量覆盖率。

65
00:04:46,033 --> 00:04:48,953
而是更广泛地考虑匹配目标，

66
00:04:49,393 --> 00:04:52,533
把效率和分布形状纳入方法选择。

67
00:04:53,033 --> 00:04:54,053
回到这些点。

68
00:04:54,733 --> 00:04:57,793
码向量靠近特征占据的区域时，

69
00:04:58,233 --> 00:05:02,433
分配连线变短，使用计数更均衡。

70
00:05:03,273 --> 00:05:08,972
计算出的计数是在解释几何关系，而不是承诺某个训练算法一定达到这种结果。

71
00:05:09,913 --> 00:05:13,973
有用的问题不仅是图像是否已经获得 token 编号。

72
00:05:14,813 --> 00:05:19,693
代表向量是否接近特征？条目是否被覆盖？使用是否均衡？

73
00:05:20,593 --> 00:05:25,733
分布匹配为两篇论文提供了共同语言，用于改善码本的这三个方面。