张量缩放和偏置

高阶微分操作

张量缩放和偏置

张量缩放和偏置(Tensor Scaling and Bias)算子正向传播对于输入张量中的每个元素,执行以下操作:output[i] = scale × input[i] + bias。反向传播计算输入张量、缩放因子和偏置的梯度。

正向传播参数列表

参数类型参数描述
输入张量输入表示输入张量
缩放因子输入任意数据类型标量,用于乘以输入张量的系数
偏置值输入任意数据类型标量,加到缩放后的张量上的值
输出张量输出应用了缩放和偏置之后的张量

反向传播参数列表

参数类型参数描述
输入张量输入输出梯度dOutput:正向传播的输出张量对某个损失函数的梯度
输出张量输出输入梯度dInput:损失函数相对于输入张量的梯度
输出张量输出缩放梯度dScale:损失函数相对于缩放因子的梯度
输出张量输出偏置梯度dBias:损失函数相对于偏置的梯度

函数返回值

  • 没有错误:操作成功。
  • 对象未初始化:表示输入张量没有初始化。
  • 类型不匹配:表示参数的数据类型不一致。
  • 分配失败:表张量分配空间不足。
  • 内部错误:表示内部调用出错。

参考来源:团体标准——《人工智能 科学计算 共性算子功能要求》——章节7.3.1.18

硬件验证状态

昇腾 NPU 1.8ms鲲鹏 CPU 2.6ms海光 CPU 2.1ms昆仑 XPU 2.4ms海光 DCU 2.3ms飞腾 CPU 3.1ms燧原 XPU 2.7ms沐曦 GPU 2.5ms