När tre av de största AI-jättarna OpenAI, Anthropic och Googles flaggskeppsmodeller möts i en direkt duell – vem är bättre på att styra robotar?
Den 20 oktober offentliggjorde RoboColiseum, en embodied arena som gemensamt initierats av närmare 20 universitet, företag och forskningsinstitutioner världen över – däribland Mifeng Technology, Hugging Face, NVIDIA och Tsinghuauniversitetet – resultaten från denna omgång av utvärderingen: Claude Opus 5.5 tog förstaplatsen sammanlagt bland de fyra flaggskeppsmodellerna, tätt följd av GPT-6 Astra.
Uppdelat per kategori leder GPT-6 Astra bland de fyra flaggskeppsmodellerna när det gäller instruktionsföljning och övergripande störningsanpassning, med en poäng på 99,35 i instruktionsföljning; Opus presterar bättre inom rumslig förståelse och generell manipulation och tog förstaplatsen i flaggskeppsgruppen sammanlagt med den lägsta tokenförbrukningen under alla utvärderingsomgångar. I testet med störningar i bildkvaliteten hamnade GPT-6.1 Sol tydligt efter de övriga tre modellerna, vilket visar på skillnader i stabilitet när olika modeller hanterar förändringar i visuell information.
Men de två översta platserna i den sammanlagda rankningen för denna omgång innehas fortfarande av embodied policy-modeller, som särskilt behåller sin fördel inom den generella manipulationsdimensionen.
Denna direkta jämförelse ger branschen en konkret referens för att se styrkor och svagheter hos generella stora modeller kontra embodied policy-modeller.
RoboColiseum lanserar fyra underrankningar för olika förmågor – instruktionsföljning, rumslig förståelse, störningsanpassning och generell manipulation – med 78 högupplösta simuleringsuppgifter för utvärdering. Dessa visar både modellernas delresultat och dokumenterar steg för uppgiftslösning samt var fel uppstår, vilket hjälper utvecklare att snabbt lokalisera modellernas svaga punkter.
Som medinitiativtagare tillhandahåller Mifeng högupplösta objektillgångar och simuleringsscenerier för RoboColiseum, stödjer uppbyggnaden av utvärderingsmiljöer för komplexa robotmanipulationsuppgifter och bidrar med basresurser för testning av modellförmågor under olika objektinteraktioner, rumsliga layouter och miljöförhållanden.
Om modellernas resultat i simuleringen återspeglar verklig prestanda är också avgörande för utvärderingen. Enligt plattformens offentliggjorda testresultat uppnår korrelationen mellan RoboColiseums simuleringsutvärdering och fysisk driftsättning 89,5%, och skillnaden mellan samma modells utvärdering i simulering och i verkligheten är mindre än 10%, vilket kan ge utvecklare en referens för modellurval och problemlokalisering inför tester på riktig hårdvara.
Mifeng Technology erbjuder ett dataleveranssystem som är "heltäckande, bra och snabbt" och som omfattar tre dataparadigm: fysisk hårdvara, simulering och utan kropp. Inom simulering tillhandahåller Mifeng två typer av resurser – objektillgångar och miljötillgångar – som täcker en mängd vardagliga föremål och inomhusscenerier, samt kapaciteter som scenåteruppbyggnad, insamling av expertbanedata och visualisering av utvärderingsresultat, vilket hjälper modellteam att bedriva varierad träning och utvärdering.
Coliseum syftade ursprungligen på den antika romerska amfiteatern, och RoboColiseum använder detta som bild för att bygga ett flerdimensionellt systematiskt utvärderingsramverk – en öppen, neutral och reproducerbar "arena" och "träningsplats" för embodied intelligens-modeller, med simuleringsutvärdering som stämmer väl överens med prestanda på riktig hårdvara. Alla universitet, forskningsinstitutioner eller företagsutvecklare kan skicka in sina modeller för att genomgå ett standardiserat "prov". Sedan lanseringen i augusti har över 100 team från både inom och utom landet bedrivit modellträning och utvärdering på plattformen.
RoboColiseum är nu öppet för utvecklare världen över, och modellteam välkomnas att delta i utvärderingen.
