Les intelligences artificielles conversationnelles telles que ChatGPT sont basées sur de grands modèles linguistiques (LLM, pour Large Language Model). Conçues principalement pour manipuler du texte, ces IA peuvent également être entraînées pour gérer d’autres types d’informations. C’est dans cette optique qu’a été créée PaLM-E, une IA capable de contrôler un robot en temps réel en prenant en compte son environnement.
Ce système a été élaboré par des chercheurs de Google et de l’Université technique de Berlin. Ils ont combiné le modèle linguistique PaLM de Google, similaire au GPT de ChatGPT, avec ViT-22B, spécialisé dans les tâches visuelles. Le résultat est un modèle multimodal (texte et images) possédant 562 milliards de paramètres.
Un robot qui réagit en temps réel
PaLM-E contrôle un robot fabriqué par Google équipé d’un bras et peut interpréter les données de la caméra en temps réel. Il suffit de lui demander d’aller chercher le paquet de chips dans le tiroir, et le robot s’exécute. L’IA planifie la procédure sans intervention humaine et peut réagir en temps réel. Ainsi, lorsque le chercheur enlève le paquet de chips et le remet dans le tiroir, le robot est capable de s’en rendre compte, de mettre à jour sa planification pour la tâche et de récupérer à nouveau le paquet.
Ce qui rend cette intelligence artificielle particulièrement intéressante est sa capacité à généraliser ses compétences pour effectuer des tâches qu’elle n’a pas rencontrées pendant son entraînement, et ce, sans perdre ses capacités linguistiques. Il serait vraiment fascinant de voir PaLM-E aux commandes d’un robot tel que Spot ou Atlas de Boston Dynamics…