Food Acquisition Planning with Vision-Language Models for Robot-Assisted Feeding

Ce mémoire étudie l'utilisation de modèles vision-langage (VLMs) pour la planification de tâches en temps réel dans le contexte de l'alimentation assistée par robot, un domaine qui nécessite un couplage étroit entre la perception visuelle, le raisonnement sémantique et l'action physique. Les systèmes actuels d'alimentation assistée par robot séparent souvent le traitement du langage et de la vision en pipelines modulaires, limitant leur capacité à effectuer un raisonnement contextuel ancré dans la scène visuelle. L'objectif de cette recherche est d'évaluer si les VLMs modernes peuvent surmonter cette limitation en permettant une prise de décision multimodale unifiée pour des tâches de manipulation à court horizon. À cette fin, le travail développe un système complet d'alimentation assistée par robot intégrant un planificateur de tâches basé sur un VLM, un pipeline de perception basé sur SAM 3, une interface de préférences utilisateur pilotée par la voix, et deux primitives de manipulation paramétrées (embrocher et racler) exécutées sur un bras robotique à 7 degrés de liberté équipé d'une fourchette de table standard. Le système est évalué à travers deux expériences. Premièrement, le planificateur VLM est testé en simulation sur 25 scénarios de repas utilisant un espace d’actions étendu comprenant sept primitives d'acquisition et une consigne ancrée physiquement qui spécifie les contraintes d'exécution de chaque action. Sur 250 essais, le planificateur atteint une précision de 83,2\%, suivant de manière fiable les instructions sémantiques et les préférences de l'utilisateur. Cependant, l'analyse révèle de multiples échecs dans le raisonnement physique, particulièrement dans les scénarios nécessitant des séquences d'actions en plusieurs étapes, une compréhension spatiale ou une évaluation des potentialités d’action physiques. La deuxième expérience déploie le système complet sur un robot réel et l'évalue sur trois repas faits maison comprenant 124 tentatives de bouchées. Le système atteint un taux de succès de bout en bout de 73\% avec une latence moyenne par bouchée de 20,6 secondes. La plupart des erreurs ne proviennent pas de la planification sémantique ou de la perception, mais des échecs d’acquisition dus à l’exécution en boucle ouverte de trajectoires paramétrées, qui ne permettent pas d’ajustement en temps réel. Dans l'ensemble, les résultats montrent que bien que les VLMs excellent dans l'interprétation sémantique et la prise de décision prenant en compte des préférences, ils demeurent fondamentalement limités dans leur capacité à raisonner de manière ancrée physiquement. Ces limitations restreignent leur fiabilité pour la planification de tâches robotiques dans des environnements non structurés et soulignent la nécessité de futurs systèmes combinant perception multimodale, rétroaction continue et raisonnement physique conditionné par l'action. Malgré ces contraintes, les résultats démontrent que les architectures pilotées par VLM offrent une base prometteuse pour des systèmes d'alimentation assistée par robot adaptatifs et centrés sur l'utilisateur.