• Rectifier (neural networks) sur Wikipedia en

def relu(x):
    """Rectified Linear Unit:
 
    In the context of artificial neural networks, the rectifier is an
    activation function defined as the positive part of its argument.
 
    Rectifie les négatifs à 0:
    -1 > 0
     1 > 1
     """
    return np.maximum(0, x)

• Fonction de Heaviside sur Wikipedia fr
• Fonction caractéristique (théorie des ensembles) sur Wikipedia fr

def relu_prime(z):
    """La fonction de Heaviside (également fonction échelon unité, fonction
    marche d'escalier) est la fonction indicatrice de R.
    Une fonction fonction indicatrice, est une fonction définie sur un
    ensemble E qui explicite l’appartenance ou non à un sous-ensemble F de E
    de tout élément de E. 
    C'est donc la fonction H (discontinue en 0) prenant la valeur 1 pour tous
    les réels positifs et la valeur 0 pour les réels strictement négatifs.
    """
    return np.asarray(z > 0, dtype=np.float32)

• Sigmoïde sur Wikipedia fr

Elle représente la fonction de répartition de la loi logistique. Elle est souvent utilisée dans les réseaux de neurones parce qu'elle est dérivable, ce qui est une contrainte pour l'algorithme de rétropropagation de Werbos. La forme de la dérivée de sa fonction inverse est extrêmement simple et facile à calculer, ce qui améliore les performances des algorithmes.

def sigmoid(x):
    """la fonction sigmoïde est une courbe en S:
    https://fr.wikipedia.org/wiki/Sigmo%C3%AFde_(math%C3%A9matiques)"""
    return 1 / (1 + np.exp(-x))

def sigmoid_prime(z):
    """La dérivée de la fonction sigmoid."""
    return z * (1 - z)

Un réseau de neurones convolutifs est un type de réseau de neurones artificiels dans lequel le motif de connexion entre les neurones est inspiré par le cortex visuel des animaux.

Remarque de l'auteur Nous pouvons en déduire qu'un réseau de neurones convolutifs n'a aucune intelligence !