ViT-H laat G1 menselijke bewegingen volgen via één camera
Een preprint toont videobediening met een externe camera en computer. De robot volgt een mens; de taak wordt niet zelfstandig gekozen.
Onderzoekers van Peking University en BIGAI presenteren ViT-H, dat menselijke videobeelden direct omzet naar bewegingsreferenties voor een G1. Terugkoppeling uit het volgen van die bewegingen verbetert het trainingsmodel. Naast vooraf opgenomen bewegingen tonen de auteurs live bediening op de fysieke robot. Een vaste RealSense D455 filmt de bediener; alleen het kleurenbeeld wordt gebruikt. De gemeten gemiddelde vertraging is ongeveer 254 milliseconden op een RTX 5090, na een opstartfase van ongeveer tien seconden. Dit vraagt dus extra camera- en rekenhardware. Het onderzoek omvat ook simulatievergelijkingen. Fijne vingerbewegingen worden nog niet gemodelleerd, wat nauwkeurig werken met voorwerpen beperkt.
Wat betekent dit?
Videobediening kan het voordoen van bewegingen toegankelijker maken. Voor praktisch werk tellen ook de verbinding, reactietijd en omgang met afwijkende bewegingen mee.
Bron: Zimo He en medeonderzoekers, ViT-H-preprint ↗. Samengevat door YourWally op basis van de publicatie van de onderzoekers.