重磅干货,第一时间送达 TensorFlow2.0(6):利用data模块进行数据预处理 1 什么是激活函数激活函数是深度学习,亦或者说人工神经网络中一个十分重要的组成部分,它可以对神经元的接收信息进行非线性变换,将变换后的信息输出到下一层神经元。激活函数作用方式如下公式所示: 其中,就是激活函数。 为什么要使用激活函数呢?当我们不用激活函数时,网络中各层只会根据权重和偏差只会进行线性变换,就算有多层网络,也只是相当于多个线性方程的组合,依然只是相当于一个线性回归模型,解决复杂问题的能力有限。我们希望我们的神经网络能够处理复杂任务,如语言翻译和图像分类等,线性变换永远无法执行这样的任务。激活函数得加入能对输入进行非线性变换,使其能够学习和执行更复杂的任务。 另外,激活函数使反向传播成为可能,因为激活函数的误差梯度可以用来调整权重和偏差。如果没有可微的非线性函数,这就不可能实现。 总之,激活函数的作用是能够给神经网络加入一些非线性因素,使得神经网络可以更好地解决较为复杂的问题。 2 常用激活函数2.1 sigmoid函数 sigmoid函数可以将整个实数范围的的任意值映射到[0,1]范围内,当当输入值较大时,sigmoid将返回一个接近于1的值,而当输入值较小时,返回值将接近于0。sigmoid函数数学公式和函数图像如下所示: 感受一下TensorFlow中的sigmoid函数: import tensorflow as tf x = tf.linspace(-5., 5.,6) x <tf.Tensor: id=3, shape=(6,), dtype=float32, numpy=array([-5., -3., -1., 1., 3., 5.], dtype=float32)> 有两种方式可以调用sigmoid函数: tf.keras.activations.sigmoid(x) <tf.Tensor: id=4, shape=(6,), dtype=float32, numpy= tf.sigmoid(x) <tf.Tensor: id=5, shape=(6,), dtype=float32, numpy= 看,中所有值都映射到了[0,1]范围内。 sigmoid优缺点总结:
2.2 relu函数 Relu(Rectified Linear Units修正线性单元),是目前被使用最为频繁得激活函数,relu函数在x<0时,输出始终为0。由于x>0时,relu函数的导数为1,即保持输出为x,所以relu函数能够在x>0时保持梯度不断衰减,从而缓解梯度消失的问题,还能加快收敛速度,还能是神经网络具有稀疏性表达能力,这也是relu激活函数能够被使用在深层神经网络中的原因。由于当x<0时,relu函数的导数为0,导致对应的权重无法更新,这样的神经元被称为"神经元死亡"。 relu函数公式和图像如下: 在TensorFlow中,relu函数的参数情况比sigmoid复杂,我们先来看一下: tf.keras.activations.relu( x, alpha=0.0, max_value=None, threshold=0 )
x = tf.linspace(-5., 5.,6) x <tf.Tensor: id=9, shape=(6,), dtype=float32, numpy=array([-5., -3., -1., 1., 3., 5.], dtype=float32)> tf.keras.activations.relu(x) <tf.Tensor: id=10, shape=(6,), dtype=float32, numpy=array([0., 0., 0., 1., 3., 5.], dtype=float32)> tf.keras.activations.relu(x,alpha=2.) <tf.Tensor: id=11, shape=(6,), dtype=float32, numpy=array([-10., -6., -2., 1., 3., 5.], dtype=float32)> tf.keras.activations.relu(x,max_value=2.) # 大于2部分都将输出为2. <tf.Tensor: id=16, shape=(6,), dtype=float32, numpy=array([0., 0., 0., 1., 2., 2.], dtype=float32)> tf.keras.activations.relu(x,alpha=2., threshold=3.5) # 小于3.5的值按照alpha * (x - threshold)计算 <tf.Tensor: id=27, shape=(6,), dtype=float32, numpy=array([-17., -13., -9., -5., -1., 5.], dtype=float32)> 2.3 softmax函数 softmax函数是sigmoid函数的进化,在处理分类问题是很方便,它可以将所有输出映射到成概率的形式,即值在[0,1]范围且总和为1。例如输出变量为[1.5,4.4,2.0],经过softmax函数激活后,输出为[0.04802413, 0.87279755, 0.0791784 ],分别对应属于1、2、3类的概率。softmax函数数学公式如下: tf.nn.softmax(tf.constant([[1.5,4.4,2.0]])) <tf.Tensor: id=29, shape=(1, 3), dtype=float32, numpy=array([[0.04802413, 0.87279755, 0.0791784 ]], dtype=float32)> tf.keras.activations.softmax(tf.constant([[1.5,4.4,2.0]])) <tf.Tensor: id=31, shape=(1, 3), dtype=float32, numpy=array([[0.04802413, 0.87279755, 0.0791784 ]], dtype=float32)> x = tf.random.uniform([1,5],minval=-2,maxval=2) x <tf.Tensor: id=38, shape=(1, 5), dtype=float32, numpy= tf.keras.activations.softmax(x) <tf.Tensor: id=39, shape=(1, 5), dtype=float32, numpy= 2.4 tanh函数tanh函数无论是功能还是函数图像上斗鱼sigmoid函数十分相似,所以两者的优缺点也一样,区别在于tanh函数将值映射到[-1,1]范围,其数学公式和函数图像如下: x = tf.linspace(-5., 5.,6) x <tf.Tensor: id=43, shape=(6,), dtype=float32, numpy=array([-5., -3., -1., 1., 3., 5.], dtype=float32)> tf.keras.activations.tanh(x) <tf.Tensor: id=44, shape=(6,), dtype=float32, numpy= 3 总结神经网络中,隐藏层之间的输出大多需要通过激活函数来映射(当然,也可以不用,没有使用激活函数的层一般称为logits层),在构建模型是,需要根据实际数据情况选择激活函数。TensorFlow中的激活函数可不止这4个,本文只是介绍最常用的4个,当然,其他激活函数大多是这几个激活函数的变种。 作者博客园: https://www.cnblogs.com/chenhuabin 作者github: https://github.com/ChenHuabin321/tensorflow2_tutorials |
|