Génération de musique avec structure à long terme en combinant la programmation par contraintes et l'apprentissage automatique

La génération de musique réussie avec des techniques d’intelligence artificielle nécessite une cohérence musicale, soit la répétition de segments musicaux identiques ou similaires. Les séquences générées par des modèles d’apprentissage automatique peuvent imiter l’ensemble de données assez fructueusement, mais peinent à présenter une structure à long terme. En effet, puisque la structure n’est pas explicitement apprise durant l’entraînement, il n’y a aucune assurance que les modèles séquentiels tels que les LSTMs ou les Transformers parviendront à saisir la structure inhérente à l’ensemble de données. Une façon d’aborder ce problème est en imposant une structure au moyen de contraintes. Les séquences d’un modèle de génération peuvent être contraintes durant l’entraînement ou l’inférence. Des travaux antérieurs ont combiné la programmation par contraintes (CP) avec un modèle d’apprentissage automatique (ML) lors de l’inférence pour structurer les séquences générées. Ce modèle ML, nommé le Chord Conditioned Melody Transformer (CMT), génère une mélodie jeton par jeton basée sur une séquence d’accords fournie en entrée. Celui-ci produit une distribution de probabilité sur le domaine du jeton courant à chaque pas de temps. La CP jumelée à la belief propagation (CPBP) dans le solveur MiniCPBP permet d’altérer la distribution de probabilité à partir de laquelle le prochain jeton est échantillonné par le CMT durant l’inférence. Une nouvelle contrainte nommée oracle est responsable de l’incorporation de la CPBP dans le CMT. Le nouveau modèle ainsi formé est appelé le CMT-CPBP. Le point focal de ces travaux étaient de combiner ces techniques avec succès plutôt que d’améliorer les extraits musicaux produits. Dans ce mémoire, cette approche est explorée davantage en injectant automatiquement des contraintes étroitement liées au style du corpus sur lequel le CMT a été entraîné. Une détection de patrons concernant les notes, les rythmes et les intervalles est d’abord effectuée sur l’ensemble de données à l’aide d’expressions régulières. Puis, les tendances parmi les patrons trouvés sont analysées et représentées avec des cartes thermiques. La première analyse permet de mettre en valeur la répartition des patrons de l’ensemble de données en fonction de leur position dans la pièce et de leur longueur. La seconde analyse exprime la corrélation entre les sections d’une pièce de l’ensemble de données. Par la suite, ces tendances servent à créer des contraintes dans les modèles CP qui permettent d’imposer des patrons inspirés des données. L’objectif est de produire, grâce à ces contraintes, des extraits de musique qui expriment la structure à long terme visée tout en restant fidèle au style du corpus. Des mélodies ont été générées dans le cadre de trois expériences où un paramètre exprimant la pertinence des patrons imposés a varié. Celles-ci ont été évaluées de façon subjective par un sondage où les participants ont dû comparer un extrait produit par le CMT-CPBP avec patrons à un extrait produit par le CMT. Les résultats démontrent que le CMT-CPBP avec patrons permet d’améliorer les mélodies générées et que le paramètre qui a varié a un impact positif important sur la qualité des extraits générés.