Algorithme d'apprentissage du quantron basé sur Spikeprop

Le quantron est un modèle de neurone artificiel basé sur la modélisation de la diffusion des neurotransmetteurs dans la fente synaptique. Son potentiel en reconnaissance de formes a été maintes fois démontré sur des tâches de classification à frontières hautement non linéaires. Actuellement, l'exploitation de ce potentiel est restreint par l'absence d'un algorithme d'apprentissage efficace pour entraîner le quantron dans sa formulation originale. Deux obstacles majeurs entravent l'entraînement de ce neurone. D'abord, sa sortie analogique comporte des discontinuités et ne peut être ramenée à une expression analytique et dérivable faisant intervenir les paramètres du modèle. D'autre part, à cause du formalisme de seuil d'activation inspiré du neurone biologique, il arrive que le quantron ne soit pas suffisamment excité pour transmettre l'information. La façon de gérer de tels neurones silencieux dans un contexte d'apprentissage requiert le développement de nouveaux principes. Ainsi, l'objectif principal de ce mémoire est de concevoir un algorithme qui puisse entraîner des réseaux de quantrons en proposant divers moyens pour contourner les difficultés décrites. Le quantron partage certaines caractéristiques (sommation spatio-temporelle de potentiels postsynaptiques et mécanisme de seuil d'activation) avec la toute dernière génération de neurones artificiels, à savoir les neurones à impulsions. Ces similarités ont motivé une revue des algorithmes d'apprentissage développés pour ceux-ci ayant mené à l'identification du modèle de neurone SpikeProp (un dérivé du Spike Response Model) ressemblant particulièrement au quantron. L'algorithme SpikeProp associé, qui procède par rétropropagation de l'erreur et par linéarisation du potentiel de membrane autour de l'instant où le seuil est atteint, a ainsi pu être adapté au quantron avec succès. L'approximation sous-jacente à SpikeProp permet de franchir le premier obstacle associé à la non-dérivabilité de la sortie du quantron en fonction des paramètres. Concernant le phénomène des neurones silencieux, bien qu'il survienne aussi pour les neurones impulsionnels, aucune méthode de gestion systématique et rigoureuse n'a été développée. En conséquence, on propose ici des heuristiques mesurant l'effet de chaque type de paramètre (poids synaptique, délai synaptique et demi-largeur des potentiels postsynaptiques) sur l'état d'activation du quantron dans le but de définir symboliquement certaines dérivées apparaissant dans le formalisme de rétropropagation de l'erreur. Celles-ci se fondent à la fois sur des approximations étudiées dans des travaux antérieurs, sur des résultats démontrés dans ce mémoire et sur des raisonnements intuitifs. Pour chaque type de paramètre, cinq heuristiques sont ainsi proposées et un processus de sélection en deux étapes est mis en place pour retenir celles qui s'avèrent optimales. Six tâches de classification binaire servent d'assise pour la comparaison des performances. Elles consistent à classer les pixels d'images de caractères alphabétiques préalablement générées par des quantrons individuels en utilisant des valeurs cibles pour la sortie du neurone et pour son état d'activation. En considérant la combinaison optimale d'heuristiques identifiée, le taux moyen de classification correcte sur les six tâches dépasse les 98 %. L'algorithme élaboré peut aussi être appliqué en utilisant des états d'activation cibles exclusivement : les problèmes précédents ont donc été repris de cette manière. On conclut des résultats observés qu'il faut un réseau 2-10-1 pour retrouver des taux moyens de classification comparables à ceux obtenus lorsque les sorties analogiques cibles sont disponibles. Afin de poursuivre l'analyse dans ce contexte, six nouveaux problèmes de classification aux surfaces de décision variées — incluant le OU exclusif — sont introduits. La méthode est alors appliquée avec des réseaux comportant de 0 (quantron seul) à 10 unités cachées. Tandis que peu de problèmes sont résolus avec des architectures à moins de deux neurones cachés, la proportion augmente régulièrement avec la taille de la couche cachée, signe de la capacité de l'algorithme à exploiter la puissance de calcul fournie par les unités additionnelles. L'observation d'une baisse de performance des réseaux 2-1-1 par rapport aux quantrons seuls est expliquée par le fait qu'un quantron à une entrée agit comme une porte à seuil (threshold gate) ce qui augmente généralement la complexité de la tâche à effectuer par le neurone caché de ces réseaux. Sur cinq des six problèmes, des taux moyens de classification supérieurs à 95 % sont atteints avec des réseaux 2-10-1. L'algorithme proposé possède plusieurs avantages, le premier étant qu'il supporte les mécanismes originaux du quantron. Effectivement, les modifications apportées à la fonction d'activation et à la sortie analogique ne modifient pas le comportement et le réalisme biologique du quantron. Comme déjà discuté, la capacité de la procédure à tirer profit de la puissance de neurones cachés supplémentaires se révèle être un autre point positif. Un dernier avantage de la méthode est la simplicité et la rapidité d'évaluation des règles d'apprentissage, puisqu'elles se basent sur les caractéristiques de la fonction d'activation en un instant seulement. L'envers de la médaille est que l'effet des paramètres sur la forme de cette dernière risque d'être mal évalué par le fait même de cette simplicité. Considérer un instant précis signifie également considérer un nombre réduit de potentiels postsynaptiques et il est possible que cela soit la cause de plusieurs essais divergents pour lesquels l'algorithme donne une trop grande magnitude au poids d'une entrée tout en étouffant les autres. Un dernier inconvénient apparaît dans une situation bien spécifique où l'apprentissage stagne momentanément lorsque toute une couche de neurones reste simultanément silencieuse suite à un stimulus. De telles circonstances demeurent toutefois assez rares. Les bonnes performances livrées par ce nouvel algorithme encouragent à l'investiguer davantage et à proposer des ajouts et des modifications pour en accroître l'efficacité. Les travaux futurs consisteraient notamment à implémenter des règles d'apprentissage tenant compte de l'aspect global de la fonction d'activation (par opposition à ses propriétés en un temps précis), à élaborer une méthode d'initialisation des paramètres d'un réseau qui minimiserait la proportion d'essais divergents, et d'appliquer la méthode à des problèmes multiclasses en recourant à de multiples neurones de sortie.