张量缩放和偏置
高阶微分操作
张量缩放和偏置
张量缩放和偏置(Tensor Scaling and Bias)算子正向传播对于输入张量中的每个元素,执行以下操作:output[i] = scale × input[i] + bias。反向传播计算输入张量、缩放因子和偏置的梯度。
正向传播参数列表
| 参数 | 类型 | 参数描述 |
|---|---|---|
| 输入张量 | 输入 | 表示输入张量 |
| 缩放因子 | 输入 | 任意数据类型标量,用于乘以输入张量的系数 |
| 偏置值 | 输入 | 任意数据类型标量,加到缩放后的张量上的值 |
| 输出张量 | 输出 | 应用了缩放和偏置之后的张量 |
反向传播参数列表
| 参数 | 类型 | 参数描述 |
|---|---|---|
| 输入张量 | 输入 | 输出梯度dOutput:正向传播的输出张量对某个损失函数的梯度 |
| 输出张量 | 输出 | 输入梯度dInput:损失函数相对于输入张量的梯度 |
| 输出张量 | 输出 | 缩放梯度dScale:损失函数相对于缩放因子的梯度 |
| 输出张量 | 输出 | 偏置梯度dBias:损失函数相对于偏置的梯度 |
函数返回值
- 没有错误:操作成功。
- 对象未初始化:表示输入张量没有初始化。
- 类型不匹配:表示参数的数据类型不一致。
- 分配失败:表张量分配空间不足。
- 内部错误:表示内部调用出错。
参考来源:团体标准——《人工智能 科学计算 共性算子功能要求》——章节7.3.1.18
硬件验证状态
昇腾 NPU 1.8ms鲲鹏 CPU 2.6ms海光 CPU 2.1ms昆仑 XPU 2.4ms海光 DCU 2.3ms飞腾 CPU 3.1ms燧原 XPU 2.7ms沐曦 GPU 2.5ms
