Sélectionner une page

IA Google: robot capable de converser et servir à manger – découvrez ses fonctionnalités

Robotique

Les intelligences artificielles conversationnelles telles que ChatGPT sont basées sur de grands modèles linguistiques (LLM, pour Large Language Model). Conçues principalement pour manipuler du texte, ces IA peuvent également être entraînées pour gérer d’autres types d’informations. C’est dans cette optique qu’a été créée PaLM-E, une IA capable de contrôler un robot en temps réel en prenant en compte son environnement.

Ce système a été élaboré par des chercheurs de Google et de l’Université technique de Berlin. Ils ont combiné le modèle linguistique PaLM de Google, similaire au GPT de ChatGPT, avec ViT-22B, spécialisé dans les tâches visuelles. Le résultat est un modèle multimodal (texte et images) possédant 562 milliards de paramètres.

Un robot qui réagit en temps réel

PaLM-E contrôle un robot fabriqué par Google équipé d’un bras et peut interpréter les données de la caméra en temps réel. Il suffit de lui demander d’aller chercher le paquet de chips dans le tiroir, et le robot s’exécute. L’IA planifie la procédure sans intervention humaine et peut réagir en temps réel. Ainsi, lorsque le chercheur enlève le paquet de chips et le remet dans le tiroir, le robot est capable de s’en rendre compte, de mettre à jour sa planification pour la tâche et de récupérer à nouveau le paquet.

Ce qui rend cette intelligence artificielle particulièrement intéressante est sa capacité à généraliser ses compétences pour effectuer des tâches qu’elle n’a pas rencontrées pendant son entraînement, et ce, sans perdre ses capacités linguistiques. Il serait vraiment fascinant de voir PaLM-E aux commandes d’un robot tel que Spot ou Atlas de Boston Dynamics…

0 commentaires

Soumettre un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Robot tout-terrain polyvalent pour sauvetage, patrouilles et missions sans crainte

Le véhicule Onyx, ressemblant à une petite voiture radiocommandée équipée de quatre grosses roues motrices, est conçu pour être solide et évoluer à la fois sous l'eau et sur terre. Proposé par la société Deep Trekker à un prix de départ de 40 000 dollars, l'Onyx...

Robots-loups déployés dans les rues de villages japonais pour protéger les résidents et la faune

Au Japon, pour protéger les cultures agricoles des sangliers et surtout des ours, la société Wolf Kamuy a conçu des robots-loups très effrayants et menaçants. Ces robots possèdent de grandes dents, une fourrure et des yeux rouges à LED qui clignotent. Ils peuvent...

Start-up crée un robot Gundam géant de 2,5 millions d’euros : innovation technologique majeure

Les Gundam, c'est-à-dire des robots géants pilotés de l'intérieur, sont un élément emblématique des séries animées japonaises. La franchise Gundam, qui a donné son nom à ces robots, a débuté avec la série Mobile Suit Gundam en 1979. C'est cette idée qui a inspiré la...

Robocop ressemblant à R2-D2 embauché à New York pour renforcer la sécurité urbaine

La ville de New York a récemment annoncé la mise en place d'un nouveau robot autonome, dont la mission sera d'assurer la sécurité dans les couloirs du métro. Cette initiative s'inscrit dans la continuité de l'intégration d'autres solutions robotiques au sein des...

Tesla dévoile les avancées de son robot humanoïde Optimus pratiquant le yoga

On n'avait pas entendu parler du robot humanoïde Optimus de Tesla depuis un certain temps. Cependant, la société a récemment publié un message sur X (anciennement Twitter) pour montrer ses progrès. Optimus est désormais doté d'un réseau neuronal de bout en bout,...

Robot minuscule se déplaçant aisément via des explosions répétées

Les robots miniatures sont généralement alimentés par une batterie, qui peut être assez lourde et peu performante pour des dispositifs aussi petits. Pour résoudre ce problème, des chercheurs de l'Université Cornell aux États-Unis ont développé de minuscules...

Kit d’assemblage robotique : 7 configurations différentes pour construire votre propre robot !

L'avenir des robots sera-t-il modulaire ? Après le robot Mori 3 de l'EPFL, composé de modules triangulaires, découvrez Ugot, un robot en kit imaginé par la société hongkongaise Ubtech, célèbre pour avoir établi un record du monde en 2018 en faisant danser 1 372 robots...

Drones capables de s’assembler en vol pour former un plus grand appareil : une innovation majeure

Il est bien connu que les petits drones ont des avantages que les gros drones n'ont pas, et vice versa. Par exemple, un petit drone ne pourra pas soulever beaucoup de poids, mais il sera rapide, agile et capable de se faufiler presque partout. D'un autre côté, un gros...

Le cofondateur de Skype redoute l’IA créant des robots massacreurs : risque pour l’humanité

Plusieurs experts et spécialistes en intelligence artificielle (IA) expriment leurs inquiétudes concernant le développement rapide et non régulé des IA. Dès les premières apparitions d'IA génératives telles que ChatGPT, des tribunes réunissant de nombreux signataires...

Robot autonome pour remplacer les équipes de nettoyage dans les bureaux : une innovation majeure

Dans le domaine de la robotique, on parle souvent des trois D : dangereux, sale et ennuyeux. Ces termes décrivent les tâches qui sont idéales pour être automatisées par des robots, comme le nettoyage des toilettes, même si ce n'est pas une activité dangereuse. Le...