Integration of Expert Knowledge in Bayesian Optimization for Neurostimulation Systems

Les troubles neurologiques, tout comme les lésions traumatiques de la moelle épinière, causent des symptômes et déficits variés, réduisant gravement la qualité de vie des personnes touchées. Lorsque la médication ou les thérapies conventionnelles ne suffisent pas à restaurer les fonctions perdues, la neurostimulation peut être utilisée. La neurostimulation consiste à moduler l’activité du système nerveux en délivrant des impulsions électriques ciblées. En fonction du type d’intervention, le cerveau, la moelle épinière ou les nerfs peuvent être ciblés. Pour qu’une thérapie de neurostimulation soit efficace, une multitude de paramètres doivent être adéquatement réglés pour chaque patient. Ceci inclut, par exemple, le site, l’intensité ainsi que la fréquence de stimulation. L’espace de toutes les combinaisons de paramètre possibles peut rapidement atteindre les milliers, voire même les millions. Il est ainsi impossible de tester toutes les combinaisons. La programmation des dispositifs de stimulation se fait souvent par une méthode d’essais et erreurs qui peut s’étendre sur plusieurs visites cliniques. Durant ce temps, les symptômes peuvent être encore présents, tout comme des effets indésirables. En raison de la complexité de la tâche de programmation, des configurations sous-optimales peuvent aussi être adoptées. L’utilisation de solutions automatiques et intelligentes pour la programmation d’interventions basées sur la neurostimulation est nécessaire, d’autant plus que la configuration optimale peut être sujette à des changements au cours du temps. Ces changements peuvent être causés par une progression de la maladie ou la neuroplasticité. De plus, un niveau élevé de bruit affecte habituellement la métrique utilisée pour mesurer l’efficacité de la stimulation, ce qui ajoute une difficulté supplémentaire. L’optimisation bayésienne (OB) a été proposée pour surmonter ce défi et soutenir les experts dans la programmation des systèmes de neurostimulation. L’OB est une méthode de recherche séquentielle déjà utilisée dans plusieurs domaines pour l’optimisation de fonctions “boîte noire”. Elle fonctionne en combinant une modélisation efficace de la fonction objectif avec des décisions éclairées sur le choix de la prochaine configuration à tester, basées sur les observations passées. La fonction objectif est la relation entre les paramètres de stimulation et l’efficacité de la stimulation, évaluée avec un biomarqueur pertinent. Sans connaissances préalables sur la tâche d’optimisation, l’OB permet de trouver une solution efficace en minimisant le nombre de tests. Or, pour certaines applications, les experts en neurostimulation ont des hypothèses préalables quant à la meilleure combinaison de paramètres à utiliser. Cette information peut provenir de données de groupe, de simulations, mais également de l’expérience personnelle de avec d’autres patients. Lorsque la configuration prévue comme la meilleure est proche de la vraie combinaison optimale, l’intégration de cette connaissance dans l’OB a le potentiel d’accélérer grandement l’optimisation. Dans sa forme traditionnelle, la capacité de l’OB à tirer avantage d’un a priori de la sorte est limitée. Une façon simple d’y arriver consiste à initialiser la recherche en testant d’abord la configuration prévue comme la meilleure. Or, la capacité de cette initialisation à tirer avantage d’un bon a priori est limitée comparée à d’autres méthodes récemment développées. Une de ces méthodes consiste à multiplier élément-par-élément l’a priori défini sur l’espace de recherche avec la fonction d’acquisition. La fonction d’acquisition est utilisée pour sélectionner le prochain point à tester. Cette approche peut ainsi être vue comme l’intégration d’une région d’intérêt dans la recherche. L’a priori peut être formalisé en utilisant une distribution gaussienne multivariée, centrée au point prévu comme étant le meilleur. Cette technique a plusieurs avantages, dont un coût computationnel peu élevé et peut être implémentée avec la plupart des fonctions d’acquisition couramment utilisées. Elle permet aussi de tirer avantage de bons a priori. Or, elle n’est pas robuste lorsque la configuration prévue comme étant la meilleure est située loin de la configuration optimale. Ceci affecte grandement sa performance. Ce comportement n’est pas souhaitable, considérant qu’il n’y a aucune garantie que l’hypothèse de l’expert soit toujours exacte. L’objectif de ce projet était de développer une méthode permettant d’intégrer un a priori portant sur l’optimum dans l’OB pour accélérer l’optimisation de la neurostimulation avec de bons a priori, tout en demeurant robuste à des a priori erronés. Pour ce faire, nous proposons α-πBO, une méthode innovante de modulation de la fonction d’acquisition par un a priori ayant un poids fixe. La méthode comporte un seul hyperparamètre, α, dont la valeur contrôle l’influence de l’a priori. À chaque étape d’optimisation, la fonction d’acquisition peut être réduite, au maximum, de α% par l’a priori. La performance de l’approche proposée a été évaluée de façon approfondie avec différentes qualités d’a priori en utilisant des fonctions synthétiques ainsi que des tâches d’optimisation avec des données réelles. Par rapport à des algorithmes de référence, α-πBO a obtenu la meilleure performance. La méthode a permis de tirer avantage d’un bon a priori de façon plus efficace que la simple initialisation tout en étant robuste à des a priori erronés. Dans ce dernier cas, α-πBO converge à un niveau de performance similaire à l’OB sans a priori. De plus, la méthode proposée s’est montrée robuste à des a priori situés à des maximums locaux. Elle permet également d’améliorer la performance d’optimisation même lorsqu’un a priori est disponible uniquement pour un sous-ensemble de paramètres. Il est aussi important de mentionner que la méthode est performante même avec la valeur de défaut pour son hyperparamètre α. Une validation a également été réalisée avec une tâche d’optimisation hors-ligne où l’objectif était d’identifier l’électrode optimale pour évoquer une contraction musculaire parmi une grille de 96 électrodes intra-corticales. L’approche développée a le potentiel de promouvoir l’utilisation de l’OB pour la programmation des neurostimulations et d’accélérer le développement d’interventions personnalisées. La prochaine étape est d’utiliser α-πBO pour réaliser une programmation de paramètres de neurostimulation en temps réel in vivo.

Abstract

Neurological disorders, as well as traumatic spinal cord injuries, result in a wide range of debilitating symptoms and impairments. When medication or conventional therapy are insufficient to restore functions, neurostimulation interventions can be employed. Neurostimulation consists of modulating the activity of the nervous system by delivering electrical impulses to targeted regions. Depending on the condition, the brain, spinal cord or nerves can be the target of the intervention. For a neurostimulation therapy to be successful, a multitude of parameters needs to be adequately tuned for each patient. This includes, for example, the stimulation site, intensity and frequency. The space of possible parameter combinations can rapidly reach the thousands or even millions, making it impossible to test all possible values. Manual programming of stimulation devices often consists of a trial-and-error procedure that takes multiple visits at the clinic. During this time, the symptoms are not sufficiently suppressed, and the patient can suffer from undesirable side effects. Due to the complexity of the programming task, sub-optimal configurations are sometimes accepted as final. Using intelligent and automated solutions to program neurostimulation interventions is even more pressing as the optimal configuration can change over time due to disease progression or neuroplasticity. Moreover, a high level of noise is often present in the metric used to evaluate the efficiency of the stimulation, adding to the difficulty of the task. Bayesian optimization (BO) has been proposed to overcome these challenges and support experts in neurostimulation programming. BO is a sequential search approach already used in many domains to optimize black-box functions. It works by combining a data-efficient modeling of the objective function and informed decisions about which configuration should be tested at the next iteration based on past observations. The objective function is the relationship between the stimulation parameters and the stimulation efficacy, evaluated using a relevant biomarker. Without any prior knowledge on the specific optimization task, BO can find efficient configurations with a minimal number of tests. However, for some applications, experts in neurostimulation have valuable beliefs or hypotheses about which configuration is expected to be the most efficient. This information can be extracted from group data, simulations and the expert’s personal experience with past patients. When the expected best parameter configuration is close in the parameter space to the optimal one, integrating this prior knowledge in BO has the potential to accelerate optimization. In its standard form, the capacity of BO to leverage such prior is limited. A simple way to doso is to initialize the search with the parameter combination expected to be the best. However, the capacity of this prior-based initialization in leveraging good priors is limited compared to other methods recently proposed. One of these approaches consists in an element-wise multiplication between the prior defined over the search space and the acquisition function. The acquisition function is responsible for the selection of the next test point. As such, it can be seen as incorporating a region-of-interest in the search. The prior can be formalized as a multivariate Gaussian centered at the expected best point. This technique has many advantages such as a low computational cost and can be implemented with most of the popular acquisition functions. It can also efficiently leverage good priors. Nevertheless, it lacks robustness to misleading information, meaning that when the expected best configuration is far from the actual optimum, its performance can be significantly hindered. This is undesirable as there is no guarantee that the user-provided prior will always be accurate. The objective of this project was to develop a method to integrate a prior over the optimum in BO, that would accelerate neurostimulation optimization when provided with good information while being robust to misleading priors. To achieve this, we proposed α-πBO, a novel prior-biased acquisition function with a constant-weight prior. The method has a single hyperparameter, α, which controls the strength of the prior’s influence. At each optimization step, the acquisition function cannot be reduced by more than a percentage of α by the prior. The performance of the proposed approach was extensively evaluated under various prior qualities, using synthetic functions and real-world optimization tasks. Compared to relevant benchmarks, α-πBO achieved the best performance trade-off. It leveraged good priors more efficiently than prior-based initialization while being able to overcome misleading priors. For the latter case, it converged to performance levels similar to BO without priors. Additionally, α-πBO is robust to misleading priors located at a local maximum. It can also improve optimization performance even with partial priors, when user beliefs are only available for a subset of parameters. Importantly, α-πBO has a low tuning complexity, exhibiting desirable performance even with its default α value. The method was validated in an offline neurostimulation task, where the objective was to identify the optimal electrode on a 96-microelectrode intra-cortical array to evoke muscle contraction. This work has the potential to promote the use of BO for neurostimulation programming and to accelerate the development of personalized neurostimulation interventions. The next step is to use this method to perform real-time in vivo optimization of neurostimulation parameters.