G1 leert grijpen van gegenereerde video, maar maakt nog veel fouten
AutodidactWAM gebruikt bewegingen uit gegenereerde video's om robotbesturing te verbeteren. Een kleine fysieke proef toont vooruitgang en duidelijke beperkingen.
In de preprint AutodidactWAM onderzoeken Sergei Kurchev en collega's hoe een Unitree G1 met vijfvingerige BrainCo-handen kan leren van gegenereerde video. Ze halen bewegingen uit de beelden en gebruiken die om een model voor robotbesturing bij te trainen. De fysieke proef draait om pakken en neerzetten aan tafel, met de rechterarm en -hand. Per voorwerp en testconditie voeren ze twintig pogingen uit. De gecombineerde trainingsmethode slaagt bij een Oreo-verpakking in 20 procent van de volledige taken, tegenover nul procent voor de uitgangsversie. Bovendien kost het genereren van een nieuw bewegingsdeel circa 104 tot 137 seconden. De robot werkt dus met lange tussenpauzes.
Wat betekent dit?
De proef laat zien dat een overtuigende gegenereerde video nog geen betrouwbare robotbeweging oplevert. Leren van zulke beelden kan helpen, maar het resultaat moet op de echte robot worden gemeten. Dit onderzoek betreft een beperkte tafelproef, geen algemeen beschikbare G1-functie.
Bron: Sergei Kurchev en medeonderzoekers, Skoltech en MWS R&D Center ↗. Samengevat door YourWally op basis van de publicatie van de onderzoekers.