题目描述
实现 RMSNorm(Root Mean Square Layer Normalization)。给定输入向量 x(长度 n)和权重 weight(长度 n),输出归一化结果:
其中
要求
- 实现右侧代码模板中给出的函数,签名以模板为准
- 不使用第三方库
提示
RMSNorm 相比 LayerNorm 省去了减均值的步骤,只做均方根归一化。
实现 RMSNorm(Root Mean Square Layer Normalization)。给定输入向量 x(长度 n)和权重 weight(长度 n),输出归一化结果:
其中
RMSNorm 相比 LayerNorm 省去了减均值的步骤,只做均方根归一化。
示例 1
x = [1.0, 2.0, 3.0, 4.0] weight = [1.0, 1.0, 1.0, 1.0]
[0.3651, 0.7303, 1.0954, 1.4606]
说明:rms = sqrt((1+4+9+16)/4 + 1e-6) ≈ 2.7386
示例 2
x = [2.0, 2.0] weight = [1.0, 2.0]
[1.0, 2.0]
说明:rms = sqrt((4+4)/2) = 2,x/rms = [1,1],乘 weight
还没有评论,来做第一个发言的人吧
运行结果
点击「调试」(只跑样例)或「提交」(跑全部用例)查看结果