Vedle toho, že je Gemini chatbot založený LLM, kterého znáte ze svého telefonu, má i další odnože, mezi nimi i Gemini Robotics. Google (deepmind.google) nyní představil jeho nejnovější a nejschopnější model VLA (vision-language-action), který převádí vizuální informace a instrukce na motorické příkazy pro robota k provedení úkolu. Tento model před provedením akce přemýšlí a zobrazuje svůj postup, čímž pomáhá robotům transparentněji vyhodnocovat a dokončovat složité úkoly. Učí se také napříč jednotlivými provedeními, čímž urychluje učení dovedností.
Pokud by byl robot například požádán: „Můžeš na základě mé polohy roztřídit tyto předměty do správných nádob na kompost, recyklaci a odpadky?“, musel by na internetu vyhledat příslušné místní recyklační směrnice, podívat se na předměty před sebou a zjistit, jak je na základě těchto pravidel roztřídit - a pak provést všechny kroky potřebné k jejich úplnému uklizení.
K tomu mohou roboti využívat vylepšený model Gemini Robotics-ER 1.5, aby si vytvořili představu o svém okolí, a využívat digitální nástroje, jako je vyhledávač Google, k vyhledávání dalších informací. Gemini Robotics-ER 1.5 pak tyto poznatky převede do instrukcí v přirozeném jazyce.
Společnost Google DeepMind navíc oznámila, že Gemini Robotics 1.5 dokáže pomáhat robotům učit se jeden od druhého, i když mají různé konfigurace. Google DeepMind zjistil, že úkoly předložené robotu ALOHA2, který se skládá ze dvou mechanických paží, prostě fungují na dvouramenném robotu Franka i na humanoidním robotu Apollo od společnosti Apptronik.
Samozřejmě nebyla ponechána stranou ani bezpečnost jak uživatelů v okolí, tak samotných robotů. Robotický systém Gemini 1.5 implementuje holistický přístup k bezpečnosti prostřednictvím sémantického uvažování na vysoké úrovni, včetně přemýšlení o bezpečnosti před jednáním, zajištění respektujícího dialogu s lidmi prostřednictvím sladění s existujícími bezpečnostními zásadami Gemini a spuštění bezpečnostních subsystémů na nízké úrovni (např. pro zabránění kolizi) na palubě robota v případě potřeby.
