【DL经典回顾】激活函数大汇总（二十七）（Bent Identity附代码和详细公式）

激活函数大汇总（二十七）（Bent Identity附代码和详细公式）

更多激活函数见激活函数大汇总列表

一、引言

欢迎来到我们深入探索神经网络核心组成部分——激活函数的系列博客。在人工智能的世界里，激活函数扮演着不可或缺的角色，它们决定着神经元的输出，并且影响着网络的学习能力与表现力。鉴于激活函数的重要性和多样性，我们将通过几篇文章的形式，本篇详细介绍两种激活函数，旨在帮助读者深入了解各种激活函数的特点、应用场景及其对模型性能的影响。

在接下来的文章中，我们将逐一探讨各种激活函数，从经典到最新的研究成果。

限于笔者水平，对于本博客存在的纰漏和错误，欢迎大家留言指正，我将不断更新。

二、Bent Identity

Bent Identity激活函数是一种非线性激活函数，它在神经网络中引入轻微的非线性，同时保留了接近恒等函数（Identity function）的特性。这使得它可以用于在模型中引入非线性，而不会过度扭曲数据。

1. 数学定义

Bent Identity激活函数定义为：

$$f(x)=\frac{\sqrt{x^2+1}-1}{2}+x$$
其中，$x$是输入信号。

2. 函数特性

• 轻微的非线性：Bent Identity函数在原点附近提供了轻微的非线性变形，随着输入值$x$的增加，函数趋近于线性。
• 连续可导：该函数在整个实数域内都是连续且可导的，这一点对于使用基于梯度的优化算法训练神经网络是非常重要的。
• 非饱和性：与Sigmoid或Tanh激活函数不同，Bent Identity函数不会在输入值很大时饱和，这有助于减少梯度消失问题。

3. 导数

Bent Identity函数的导数为：

$$f^{\prime }(x)=\frac{x}{2\sqrt{x^2+1}}+1$$
导数显示了在原点附近，随着$x$的增大，函数变化率从大于1渐渐趋近于1，这有助于保持梯度的传播。

4. 使用场景与局限性

使用场景：

• 轻度非线性引入：在需要在模型中引入非线性，但又不希望非线性太强时，Bent Identity是一个合适的选择。
• 改善梯度流：用于减轻梯度消失问题，特别是在深层网络中，可以作为一种补充激活函数来使用。

局限性：

• 计算复杂性：与简单的ReLU或者线性激活函数相比，Bent Identity函数的计算更为复杂，可能会增加模型训练的计算成本。
• 轻微的非线性可能不足：对于需要强烈非线性以捕捉复杂模式的任务，Bent Identity激活函数可能不足以提供所需的模型复杂度。

总体而言，Bent Identity激活函数提供了一种介于线性和非线性之间的激活机制，适合于那些需要轻微非线性而不希望引入太强非线性效果的应用场景。然而，设计神经网络时需要权衡其带来的计算成本和所需的非线性程度。

5.代码实现

这段代码定义了Bent Identity激活函数：

import numpy as npdef bent_identity(x):"""实现Bent Identity激活函数。参数:x -- 输入的数值或NumPy数组。返回:经过Bent Identity激活的输出。"""return (np.sqrt(x**2 + 1) - 1) / 2 + x# 示例输入
x = np.array([-3, -1, 0, 1, 3])# 应用Bent Identity激活函数
output = bent_identity(x)print("Bent Identity Activation Output:", output)

解释

• 函数定义：bent_identity函数接收一个输入x，可以是单个数值或一个NumPy数组。该函数的目的是对x中的每个元素应用Bent Identity激活函数，产生一个经过非线性变换的输出。

• Bent Identity激活：Bent Identity函数通过np.sqrt(x**2 + 1) - 1) / 2 + x实现，其中x**2 + 1先确保了表达式在整个实数范围内都是正的，从而可以安全地应用平方根。计算平方根之后，减去1、除以2、并加上原始的x值，这样在x接近0时引入轻微的非线性，而当x的绝对值很大时，函数接近于线性。

• 示例应用和输出：对于示例输入x = [-3, -1, 0, 1, 3]，Bent Identity激活函数的输出显示了在原点附近的轻微非线性变化，以及在远离原点时的接近线性行为。特别是，对于0输入，输出恰好是0，证明了在原点附近的非线性特性。

三、参考文献

• 鉴于Bent Identity函数相对直观的特性，专门聚焦于它的研究论文或文章可能较少，就不给了。
• 《深度学习》一书（作者：Ian Goodfellow, Yoshua Bengio, 和 Aaron Courville）提供了对激活函数在神经网络中作用的基础性理解。