Voice-Controlled UI Design
Navrhujte mobilné rozhrania hlasom. Bez kódu, iba inštrukcie.
Popis projektu
Prehľad projektu
Global Singularity je nástroj na návrh používateľských rozhraní mobilných aplikácií pomocou hovorených inštrukcií. Vďaka kombinácii rozpoznávania reči a veľkých jazykových modelov môžu používatelia jednoducho opísať požadované zmeny v UI a sledovať ich aplikovanie v reálnom čase.
Výzva
Najväčšou výzvou bolo presne rozpoznať hovorené príkazy a premeniť ich na konzistentné UI úpravy naprieč viacerými obrazovkami. Systém musel zvládnuť neurčité a neformálne formulácie.
Naše riešenie
Spojili sme pokročilé rozpoznávanie reči s LLM, ktorý chápe význam hlasových inštrukcií a premieňa ich na aktualizácie komponentov. Frontend umožňuje dynamické zmeny, backend zabezpečuje konzistentný stav a validácie.
Kľúčové funkcie
Ovládanie návrhu hlasom
LLM spracovanie prirodzenej reči
Dynamická aktualizácia UI prvkov
Viacobrazovkové UI s jednotnou štruktúrou
Podpora tlačidiel, textov, farieb a médií
Použité technológie
