Alisina NawabiGR00T 2 leert robots handelingen uit mensvideo en robotdata; NVIDIA meldt dat vijf robotdemonstraties per taak gemiddeld 95 procent succes opleveren op 50 taken.
Voor een Nederlandse fabrikant verandert daarmee de hoeveelheid taakdata: volgens NVIDIA kosten vijf demonstraties per taak waarbij een operator de doelrobot bestuurt, minder dan drie minuten robotdata. Dat maakt een proef met een nieuwe vaardigheid mogelijk zonder eerst een grote dataverzameling op te bouwen. De gepubliceerde cijfers komen uit laboratoriumproeven; NVIDIA noemt december als moment waarop de code beschikbaar komt.
GR00T 2 voorspelt beeld en beweging
NVIDIA noemt GR00T 2 een world-action model, of WAM. Het voorspelt toekomstbeelden en robotacties tegelijk. Het model verwerkt camerabeelden, een instructie en de toestand van de robot, en berekent hoe de scène verdergaat en welke beweging daarbij hoort. Daarmee kan het vaardigheden overdragen die op de doelrobot zelf nog niet zijn geoefend.
De voortraining combineert 402.730 uur video vanuit het perspectief van mensen, 10.184 uur demonstraties met een draagbare UMI-grijper over 2.897 taken en 23.500 uur opnamen waarop mensen robots op afstand besturen. NVIDIA stelt 100.000 uur van zijn Human-1M-video publiek beschikbaar. Dat aanbod maakt deel uit van dezelfde beweging van menselijke handelingen naar robottraining.
NVIDIA testte ook hoeveel menselijke video bijdraagt. Vier modellen kregen geen, 1, 10 of 100 procent van die videodata en werden op 72 Dexter-taken beoordeeld. De voortgang op de echte robot steeg van 50 naar 70 procent; bij tests met voorspelde videobeelden liep die op van 64 naar 77 procent. Dit zijn voortgangsscores op taken, geen percentages succesvolle productiecycli.
Een aparte overdrachtstest begint met alleen menselijke demonstraties. Een robot met twee vijfvingerige handen legde filterpapier in een trechter en slaagde in 65 procent van twintig pogingen, zonder dat een operator die taak op de robot demonstreerde. In een andere proef leerde een YAM-robotarm een speelgoedvrachtwagen in elkaar zetten op basis van demonstraties met een handbediende UMI-grijper. Die taak duurde tot vier minuten en slaagde in 60 procent van de pogingen.
De 95 procent komt uit een geselecteerde taakset
De 50 Dexter-taken kwamen niet voor in de trainingsdata van de doelrobot, maar wel in menselijke video of data van andere robots. Zonder voorbeelden van de taak op Dexter lag de gemiddelde successcore op 40 procent. Eén demonstratie per taak waarbij een operator Dexter bestuurt, bracht die op 71 procent; vijf demonstraties brachten hem op 95 procent. Die vijf demonstraties bevatten samen minder dan drie minuten robotdata. De modelaanpassing met LoRA duurde ongeveer dertig minuten op één RTX 5090.
De meetlat heeft een duidelijke beperking. NVIDIA schrijft in de whitepaper dat de 50 taken zijn gekozen uit taken waarop het model na vijf demonstraties minstens 80 procent succes haalde. De 95 procent geldt dus voor een geselecteerde Dexter-testset, niet voor een willekeurige verzameling opdrachten uit een fabriek. Na vijf demonstraties haalde het model op 37 van de 50 taken in iedere proef succes.
De vijf voorbeelden in deze benchmark zijn robotdata van een operator die Dexter een handeling laat uitvoeren, niet vijf menselijke videoclips. Mensvideo helpt bij de brede voortraining en bij afzonderlijke overdrachtstests. De benchmark laat zien dat een kleine hoeveelheid robotdata een vaardigheid kan aanscherpen, maar zegt minder over taken die na die vijf voorbeelden nog niet goed lukken.
NVIDIA bouwt voort op Isaac, Google test fabriekswerk
NVIDIA bouwt al langer aan de softwareketen voor robotontwikkeling. In oktober maakte het Isaac Lab 3.0 algemeen beschikbaar en voegde ruim 2.000 robot- en fabrieksobjecten voor simulatie toe. Die release richtte zich op simulatie en ontwikkelsoftware; GR00T 2 voegt een model toe dat mensvideo, robotdata en taakdemonstraties in vaardigheden probeert om te zetten.
Google DeepMind meldde voor Gemini Robotics 2.5 96 procent succes in een kittingproef met Apollo 2 op Mercedes-productielijnen. Het ging om het sorteren van metalen auto-onderdelen voor montage, een andere taak dan de vijftig Dexter-tests. De Gemini Robotics 2.5-proef bij Mercedes betrof het klaarzetten van onderdelen per voertuig en heeft een specifieke meetlat. De twee percentages zijn daarom geen rechtstreekse vergelijking tussen de modellen.
Fabrieksresultaten ontbreken nog
De GR00T 2-resultaten komen van NVIDIA's eigen onderzoeksteam. De publicatie beschrijft laboratoriumtaken en geeft geen meting van output per uur, storingen over een hele dienst of het aantal keren dat een medewerker moet ingrijpen. Zulke gegevens bepalen mede of een robotvaardigheid standhoudt bij wisselende onderdelen, werktempo en herstel na een mislukte handeling.
De aankondigingspagina geeft geen prijs of commerciële gebruiksvoorwaarden. Daardoor kunnen fabrikanten de demonstraties nu wel beoordelen, maar de volledige training nog niet op hun eigen taak uitvoeren. Ook ontbreken metingen van variatie, doorvoer en menselijke overnames op een productielijn.
De inzet verschuift naar de hoeveelheid taakdata die nodig is om een robot een nieuwe handeling te leren. Mensvideo en data van andere robots leveren de basis; enkele minuten op afstand bestuurde robotdata scherpen die vervolgens aan. De Gemini-proef bij Mercedes laat zien dat vergelijkbare robotmodellen ook op afgebakende fabriekstaken worden getest, met een andere meetlat. Hoeveel van de laboratoriumprestatie overeind blijft op een echte productielijn, blijkt nog niet uit de gepubliceerde tests.
Veelgestelde vragen
Van robotproef naar werkproces
Ik denk met je mee over de taak en de plek van AI in je proces, ontwerp de software en koppelingen eromheen en realiseer de automatisering van idee tot live toepassing, self-hosted waar dat kan.
Dit artikel is geproduceerd samen met het Agent Team. Meer over de redactie.
