WEBVTT

1
00:00:00.340 --> 00:00:03.720
编码器把图像转成连续特征向量。

2
00:00:04.560 --> 00:00:07.860
向量量化为每个向量赋予离散地址：

3
00:00:08.600 --> 00:00:10.660
找到学习得到的码本中最近的条目，

4
00:00:11.160 --> 00:00:16.020
用它替换特征，再让解码器根据所选条目重建图像。

5
00:00:16.980 --> 00:00:19.200
这里是一个原创二维示意。

6
00:00:19.980 --> 00:00:24.960
小点代表编码器输出，大的彩色点代表码向量。

7
00:00:25.640 --> 00:00:28.000
连线表示最近邻选择。

8
00:00:28.760 --> 00:00:33.040
右侧计数由这片小点云计算得出，并不是视觉标记化模型基准的结果。

9
00:00:33.733 --> 00:00:37.513
保持特征点云不变，但把码本条目放在一侧。

10
00:00:38.333 --> 00:00:45.393
有些条目完全没有点选择，另一些条目获得许多分配，其中包括距离很远的点。

11
00:00:46.513 --> 00:00:50.793
增加条目并不自动为这片点云提供有用的代表。

12
00:00:51.933 --> 00:00:54.933
这幅图体现了两篇论文的动机。

13
00:00:55.773 --> 00:00:59.753
它们研究特征分布与码向量分布之间的不匹配。

14
00:01:00.693 --> 00:01:03.813
码本坍塌意味着许多条目未被使用；

15
00:01:04.473 --> 00:01:10.013
几何匹配不好时，用远处码向量替换特征会引入较大失真。

16
00:01:11.007 --> 00:01:14.607
较早的二零二五年论文已经把三个指标结合起来。

17
00:01:15.287 --> 00:01:19.447
量化误差衡量特征到所选码向量的距离。

18
00:01:20.187 --> 00:01:23.707
利用率衡量每个码向量是否至少被选择过一次。

19
00:01:24.747 --> 00:01:28.947
码本困惑度衡量分配在各条目之间是否均衡。

20
00:01:29.867 --> 00:01:31.307
覆盖与均衡是不同的。

21
00:01:31.967 --> 00:01:35.607
只使用一次和反复使用的码向量都算被使用。

22
00:01:36.007 --> 00:01:39.807
因此，一个所有条目都被用到的码本，仍可能存在高度集中的分配。

23
00:01:40.667 --> 00:01:44.787
这三个问题应该一起看，而不是用一个百分比概括全部表现。

24
00:01:45.433 --> 00:01:48.413
较早的方法加入分布匹配目标。

25
00:01:49.073 --> 00:01:53.013
在高斯近似下，Wasserstein 距离可以计算，

26
00:01:53.093 --> 00:01:56.793
依据是两片点云估计的均值和协方差矩阵。

27
00:01:57.613 --> 00:02:02.133
均值描述位置，协方差描述扩散程度和方向。

28
00:02:03.113 --> 00:02:05.533
仅匹配中心，仍不能检查分布形状。

29
00:02:07.293 --> 00:02:10.093
这个辅助目标补充最近码向量分配。

30
00:02:11.073 --> 00:02:17.392
后来的论文明确让匹配项的梯度只更新码本，并截断该项对编码器的梯度。

31
00:02:18.333 --> 00:02:21.273
它鼓励代表向量贴合特征分布；

32
00:02:21.673 --> 00:02:25.033
并不是强迫编码器生成高斯点云。

33
00:02:25.787 --> 00:02:31.227
二零二六年的记录通过最大均值差异，也就是 MMD，扩展了这个框架。

34
00:02:31.947 --> 00:02:35.787
它用核函数比较样本，不需要指定高斯分布形式。

35
00:02:36.507 --> 00:02:39.927
两种匹配方法的辅助损失都更新码本参数，

36
00:02:40.267 --> 00:02:42.727
同时截断该项对编码器的梯度。

37
00:02:43.427 --> 00:02:46.087
当点云存在多个分离的模式时，这一点尤其相关。

38
00:02:46.827 --> 00:02:51.447
后来论文的双峰合成实验中，接近高斯时两方法表现相近；

39
00:02:52.047 --> 00:02:56.327
模式间距增大后，MMD 获得更好的误差和利用率。

40
00:02:56.987 --> 00:03:00.627
其计时研究也显示，样本两两核比较需要更多计算。

41
00:03:01.273 --> 00:03:04.533
方法中有一个重要的实验细节。

42
00:03:05.393 --> 00:03:09.013
原始量化误差依赖特征分布的方差。

43
00:03:09.693 --> 00:03:12.313
如果两个编码器产生不同尺度的点云，

44
00:03:12.733 --> 00:03:17.093
直接比较误差不能单独反映量化器对自身点云的表示能力。

45
00:03:17.873 --> 00:03:22.953
因此，后来论文在比较三个指标时使用受控的合成特征。

46
00:03:23.913 --> 00:03:28.553
教学示意保持小点不变，只改变码本位置。

47
00:03:29.253 --> 00:03:31.213
这样使几何比较更容易理解。

48
00:03:32.073 --> 00:03:35.913
实际训练模型的图像重建表现则另行评估。

49
00:03:36.627 --> 00:03:39.467
现在把示意图与测量结果分开。

50
00:03:40.147 --> 00:03:46.967
后来论文的 FFHQ VQ-VAE 表中，两行都使用二百五十六个 token，

51
00:03:47.027 --> 00:03:50.287
码本含一万六千三百八十四个条目。

52
00:03:51.167 --> 00:03:55.827
普通向量量化的 PSNR 为二十七点八三分贝。

53
00:03:56.587 --> 00:03:59.647
Wasserstein 量化为二十九点零三分贝。

54
00:04:00.547 --> 00:04:04.467
同组中，普通方法的码本利用率为百分之三点八，

55
00:04:04.807 --> 00:04:06.627
Wasserstein 方法为百分之一百。

56
00:04:07.547 --> 00:04:10.067
这些结果对应这一数据集和配置。

57
00:04:10.727 --> 00:04:15.147
PSNR 衡量重建保真度，不是原始量化误差，

58
00:04:15.547 --> 00:04:18.527
教学点云也不代表这个实验。

59
00:04:19.213 --> 00:04:21.393
这是两个不同的 arXiv 记录。

60
00:04:21.853 --> 00:04:27.833
较早的记录建立分布匹配视角、三个评价指标和基于 Wasserstein 的方法。

61
00:04:28.513 --> 00:04:32.213
后来的记录提出更广泛框架，也包含 MMD，

62
00:04:32.513 --> 00:04:35.973
并明确比较两方法在不同特征分布下的表现。

63
00:04:37.073 --> 00:04:40.733
阅读时可以把它们看作相互联系的研究故事，同时保留各自的日期与证据。

64
00:04:41.533 --> 00:04:45.433
扩展不是二零二六年才突然能测量覆盖率。

65
00:04:46.033 --> 00:04:48.953
而是更广泛地考虑匹配目标，

66
00:04:49.393 --> 00:04:52.533
把效率和分布形状纳入方法选择。

67
00:04:53.033 --> 00:04:54.053
回到这些点。

68
00:04:54.733 --> 00:04:57.793
码向量靠近特征占据的区域时，

69
00:04:58.233 --> 00:05:02.433
分配连线变短，使用计数更均衡。

70
00:05:03.273 --> 00:05:08.972
计算出的计数是在解释几何关系，而不是承诺某个训练算法一定达到这种结果。

71
00:05:09.913 --> 00:05:13.973
有用的问题不仅是图像是否已经获得 token 编号。

72
00:05:14.813 --> 00:05:19.693
代表向量是否接近特征？条目是否被覆盖？使用是否均衡？

73
00:05:20.593 --> 00:05:25.733
分布匹配为两篇论文提供了共同语言，用于改善码本的这三个方面。