Un neurone (nœud) d'un réseau neuronal artificiel prend une combinaison linéaire d'entrée des neurones de la couche précédente, puis applique la fonction d'activation pour générer la sortie finale. Ces trois fonctions sont des fonctions d'activation couramment utilisées.

Neural Network est un groupe de neurones dont la valeur est la somme de tous (poids * entrées) + biais).

Y= somme( weight*input)+bias.



la fonction d'activation d'un nœud définit la sortie de ce nœud, ou «neurone», étant donné une entrée ou un ensemble d'entrées. Cette sortie est ensuite utilisée comme entrée pour le nœud suivant et ainsi de suite jusqu'à ce qu'une solution souhaitée au problème d'origine soit trouvée.


Certains avantages des fonctions d'activation sont :

  1. Un réseau de neurones sans fonction d'activation n'est essentiellement qu'un modèle de régression linéaire. La fonction d'activation effectue la transformation non linéaire de l'entrée, ce qui la rend capable d'apprendre et d'exécuter des tâches plus complexes.
  2. Nous voudrions que nos réseaux de neurones travaillent sur des tâches complexes telles que les traductions linguistiques et les classifications d'images. Les transformations linéaires ne pourraient jamais effectuer de telles tâches.
  3. Les fonctions d'activation rendent la rétro-propagation possible puisque les gradients sont fournis avec l'erreur pour mettre à jour les poids et les biais. Avec seulement une transformation linéaire n'est pas possible.

En conséquence, la fonction d'activation la plus appropriée dépend de plusieurs facteurs tels que,

  • Tâche (par exemple régression, classification).
  • Type de couche (par exemple CNN, RNN ou couche dense).
  • Position de la couche (par exemple couche intermédiaire, couche de sortie).

Il existe de nombreux types de fonctions d'activation mais celles qui sont le plus utilisées sont:

  1. Fonction sigmoïde: Il est également appelé fonction d'activation logistique.

    f (x) = 1 / (1 + exp (-x) la plage de fonctions entre (0,1).

  2. Fonction ReLU:Équation: A (x) = max (0, x) . Il donne une sortie x si x est positif et 0 sinon.
     
  3. fonction tanh: La fonction tanh n'est qu'une autre fonction possible qui peut être utilisée comme fonction d'activation non linéaire entre les couches d'un réseau neuronal. Il partage en fait quelques points communs avec la fonction d'activation sigmoïde. Ils se ressemblent tous les deux. Mais alors qu'une fonction sigmoïde mappera les valeurs d'entrée entre 0 et 1, Tanh mappera les valeurs entre -1 et 1.