WEBVTT

1
00:00:00.320 --> 00:00:06.820
一个调节旋钮可以让语言模型更强烈地表达某种特质。但设置为一，究竟代表什么？

2
00:00:07.320 --> 00:00:11.160
相同的内部干预强度，在不同特质和模型上可能产生不同的行为。

3
00:00:11.700 --> 00:00:14.880
PersonaDose 提供更有用的控制方式：选择一种特质，

4
00:00:15.140 --> 00:00:17.360
再指定可测量的平均表达强度。

5
00:00:18.060 --> 00:00:23.080
我们将使用论文中的迎合实验，它衡量模型赞同用户的倾向。

6
00:00:23.700 --> 00:00:29.240
请求六十分，是指该研究行为量表上的目标平均分，而不是百分之六十的回答。

7
00:00:29.860 --> 00:00:34.740
这个挑战有两个部分：先学习一个有用的行为范围，再校准对这个范围的控制。

8
00:00:35.300 --> 00:00:41.460
基础语言模型保持冻结，学习得到的控制器在生成过程中变换模型的隐藏激活。

9
00:00:42.040 --> 00:00:47.440
特质描述告诉控制器要表达哪种特质；流时间决定干预强度。

10
00:00:48.100 --> 00:00:51.980
流时间是控制器的参数，而不是用户等待回答的时长。

11
00:00:52.800 --> 00:00:56.700
同一基础模型中的七种被评估特质共享一个控制器。

12
00:00:57.300 --> 00:00:59.100
不同基础模型使用各自的控制器。

13
00:00:59.840 --> 00:01:05.760
控制器从表达特质的回答中学习，但不会把每个回答与指定强度标签配对。

14
00:01:06.280 --> 00:01:09.780
这种分离很关键：回答训练提供行为能力，

15
00:01:09.980 --> 00:01:12.800
后续校准再赋予控制参数有意义的分数单位。

16
00:01:13.487 --> 00:01:19.527
首先，作者在校准问题上尝试一组控制器设置，并测量平均特质表达分数。

17
00:01:20.247 --> 00:01:24.027
单调拟合曲线概括实测表达分数如何随强度变化，

18
00:01:24.307 --> 00:01:26.347
并在采样设置之间进行插值。

19
00:01:27.227 --> 00:01:32.207
要实现目标分数，方法会沿着这条曲线反向查找，选择对应的内部设置。

20
00:01:32.927 --> 00:01:37.187
如果多个设置对应同一个拟合分数，它会选择该平台区间上最小的强度。

21
00:01:37.987 --> 00:01:41.067
拟合范围之外的目标会在测试前被标记为不可达。

22
00:01:41.887 --> 00:01:44.247
可达目标的设置固定用于留出问题。

23
00:01:44.967 --> 00:01:50.887
这样可以避免看过测试回答后，再挑选看起来最好的设置。映射关系是在测试前建立的。

24
00:01:51.413 --> 00:01:57.933
这项研究考察 Qwen 的七种特质。这里来看一个校准请求：迎合程度六十分。

25
00:01:58.773 --> 00:02:03.673
对于初始控制器，拟合映射选择了流时间一点四八六四。

26
00:02:04.333 --> 00:02:09.393
固定这个设置后，留出回答在特质量表上的平均分为五十六点二五。

27
00:02:10.093 --> 00:02:16.373
表格报告的绝对误差为三点七五分。这描述的是实测平均值，而不是每个回答。

28
00:02:17.153 --> 00:02:22.033
每个绘制出来的单元格都对十个留出问题求平均，每个问题采样十个回答。

29
00:02:22.813 --> 00:02:27.513
因此，校准请求将内部干预与行为测量连接起来，

30
00:02:27.553 --> 00:02:29.173
这种测量可以在新问题上检验。

31
00:02:29.953 --> 00:02:36.573
同一个 Qwen 控制器提供四种请求强度：二十、四十、六十和八十。

32
00:02:37.433 --> 00:02:41.733
对应的留出平均分分别为十二点九二、三十七点一三，

33
00:02:42.353 --> 00:02:45.053
五十六点二五和八十点五。

34
00:02:45.673 --> 00:02:50.493
变化的只有选定的干预设置，这些请求使用相同的控制器权重。

35
00:02:51.413 --> 00:02:56.953
这个示例中的平均连贯性分数介于八十八点九二和九十二点九一之间。

36
00:02:57.853 --> 00:03:00.293
连贯性按照量表衡量回答是否可理解。

37
00:03:00.753 --> 00:03:04.033
它与特质分数接近请求值的程度是不同指标。

38
00:03:04.853 --> 00:03:10.313
这个变化趋势展示了分级控制，同时也保留了请求值与实际值之间的差距。

39
00:03:10.947 --> 00:03:15.487
研究在三个模型上测试七种已训练特质和四个目标，

40
00:03:15.707 --> 00:03:18.007
因此每个模型有二十八个可能的请求。

41
00:03:18.706 --> 00:03:21.727
Llama 有二十二个可达请求，Qwen 有二十个，

42
00:03:22.067 --> 00:03:24.667
Gemma 有十四个，均在各自校准范围内。

43
00:03:25.287 --> 00:03:31.227
在这些可达请求上，平均目标误差分别为六点一、六点二和四点七分。

44
00:03:31.727 --> 00:03:34.907
Gemma 的较小误差对应着更窄的支持范围。

45
00:03:35.407 --> 00:03:38.187
仅看误差，无法知道有多少请求可用。

46
00:03:39.027 --> 00:03:44.547
同时满足留出连贯性下限的请求数，分别为十九、二十和十三。

47
00:03:45.307 --> 00:03:50.947
有用的分级控制需要同时检查三个方面：可达性、目标误差，以及表达的连贯性。

48
00:03:51.500 --> 00:03:57.860
映射属于某个特定控制器。继续训练可能改变流时间与行为之间的关系。

49
00:03:58.540 --> 00:04:04.420
在论文另行开展的 Qwen 后续实验中，控制器被更新，而基础语言模型仍保持冻结。

50
00:04:05.100 --> 00:04:09.600
对于六十分的迎合目标，初始映射选择一点四八六四；

51
00:04:10.120 --> 00:04:13.780
继续训练后控制器的映射选择零点八七四五。

52
00:04:14.480 --> 00:04:19.020
因此，更新后，同一个行为请求会使用不同的内部强度。

53
00:04:19.860 --> 00:04:23.480
作者会在使用更新后的控制器提供请求之前，重新测量这条曲线。

54
00:04:24.300 --> 00:04:29.220
校准让控制接口具有可解释性，但它必须与所测量行为的系统保持对应。

55
00:04:29.800 --> 00:04:34.360
PersonaDose 将学习一种特质，与指定表达多少这种特质分开处理。

56
00:04:34.900 --> 00:04:41.240
共享控制器提供行为能力，实测映射则把请求的分数单位转换为内部干预强度。

57
00:04:41.940 --> 00:04:46.540
Qwen 示例让控制关系具体化：请求六十分，选择校准设置，

58
00:04:46.920 --> 00:04:49.820
再在留出回答上测得五十六点二五分。

59
00:04:50.520 --> 00:04:55.300
这种控制可以通过范围、目标误差和连贯性来检查。

60
00:04:55.940 --> 00:05:02.320
这项研究针对已训练特质和短回答上的评判平均行为；单个回答仍可能有所不同。

61
00:05:02.860 --> 00:05:07.980
当内部旋钮变成可测量的行为请求时，干预控制接口才开始具有明确意义。