Nekadašnji učenici Elektrotehničke škole iz Splita Mihael Purar i Ivan Stepinac još uvijek razrađuju projekt ShowMe, odnosno aplikaciju koja gluhim osobama olakšava komunikaciju s okolinom. Danas studentima druge godine Fakulteta elektrotehnike, strojarstva i brodogradnje u Splitu na studiju računarstva u timu se pridružio kolega i prijatelj iz razreda Mateo Juretić.
Mentor im je od samog početka srednjoškolski profesor programiranja Marin Ivandić, a na fakultetu su dobili još dva mentora, stručnjaka za AI i analizu podataka, profesore sa studija računarstva Mladena Russoa i Luku Kraljevića.
"Mentori nam puno pomažu da ovu aplikaciju dovedemo do završetka. Trenutačno smo u poodmakloj fazi prikupljanja podataka. Naime, hrvatski znakovni jezik nema izgrađenu bazu znakovnih riječi, tako da je sami izrađujemo. Snimamo videozapise na kojima sami treniramo AI. S obzirom na to da nas trojica nismo govornici ni poznavatelji znakovnog jezika, kontaktirali smo Udrugu gluhih i nagluhih u Splitu. Članovi udruge pomažu nam da aplikaciju prilagodimo njihovim stvarnim potrebama", pojašnjava Ivan Stepinac.
Dodaje da su članovi Udruge gluhih i nagluhih osoba grada Splita pokazali velik interes za aplikaciju. Oduševljeni su činjenicom da se netko bavi njihovim problemom, koji je bio posebno izražen tijekom pandemije bolesti covid-19 kada je komunikacija postala primarno digitalna.
"Pomogli su nam razumjeti kako funkcionira znakovni jezik i ukazali na specifičnosti na koje moramo obratiti pažnju. Imamo izravnu komunikaciju s budućim korisnicima, a povratne informacije iz prve ruke ključne su nam za razvoj ideje u pravom smjeru", ističe Stepinac.
Problem od pamtivijeka
Aplikacija ShowMe rješava komunikacijske barijere gluhih, nijemih i gluhonijemih osoba. Riječ je o problemu koji je djelomično nerješiv od samih početaka čovječanstva, a ShowMe nudi komunikacijski alat koji u stvarnom vremenu s pomoću umjetne inteligencije prevodi znakovni jezik. Sustav videopoziva uživo prevodi znakove u tekst ili glas u tekst, čime se omogućava nesmetana komunikacija bez obzira na to poznaje li čujuća osoba znakovni jezik.
Stepinac dodaje kako se sustav još uvijek nadograđuje te ističe kontinuiranu podršku mentora i okoline, od srednje škole pa sve do fakulteta. Nedavno im je fakultet dodijelio i učionicu za rad i razvoj aplikacije. "Naša je ideja nastala iz želje za aktivnim radom i volje da doprinosimo društvu. Na temelju tih vrijednosti odlučili smo razviti aplikaciju koja bi pomogla osobama s oštećenjem sluha i govora da se lakše sporazumiju s ostatkom zajednice", kaže Stepinac.
ShowMe je poboljšana verzija sustava videopoziva s mogućnošću prevođenja znakovnog jezika ili glasa u tekstualni oblik, točnije u titlove.
"Osim klasičnih funkcija poput stabilnog prijenosa slike i zvuka, ShowMe koristi napredni AI model za prepoznavanje i interpretaciju znakovnog jezika u stvarnom vremenu. Ova tehnologija transformira iskustvo komunikacije za gluhe i nijeme osobe, omogućujući im da se slobodno izražavaju bez potrebe za posrednicima. Korištenjem algoritama strojnog i dubokog učenja sustav precizno interpretira geste i znakove te pruža fluidnu komunikaciju među korisnicima", pojašnjava sugovornik.
Prototip aplikacije ShowMe već je predstavljen na brojnim natjecanjima i konferencijama gdje je osvojio niz nagrada. Još kao srednjoškolci osvojili su prvo mjesto na natjecanju Ideja godine, pobijedili su u Digitalnom inovacijskom inkubatoru te osvojili treće mjesto na STARTit akademiji. Aplikaciju su predstavili i na nekoliko medicinskih događanja specijaliziranih za povezivanje tehnologije i društveno korisnih alata uz pomoć AI-ja.
U timu vlada jasna podjela rada jer postoje segmenti u kojima je netko od njih vještiji. Ivan Stepinac je kao developer i robotičar zadužen za dizajn sučelja, funkcionalnost videopoziva i prijenos podataka. Mihael Purar, kojega Stepinac opisuje kao izuzetno vještog programera, zadužen je za projektiranje aplikacije te kreiranje i usavršavanje AI modela. Mateo Juretić zadužen je za testiranje aplikacije, organizaciju medijskog sadržaja i komunikaciju na društvenim mrežama.
Planovi za druga tržišta i investitori
Nakon dovršetka projekta trojica partnera planiraju proširenje izvan Hrvatske.
"Jedan od glavnih izazova je činjenica da znakovni jezik nije univerzalan. To znači da bismo trebali razviti prilagođene verzije sustava za svaki jezik, uzimajući u obzir specifičnu gramatiku i znakove. Zbog toga smo odlučili početi s lokalnim tržištem gdje možemo usavršiti funkcionalnost uz pomoć domaćih udruga i korisnika. Tako prikupljamo vrijedne informacije koje će nam pomoći u kasnijem razvoju za druge regije", kaže Ivan Stepinac. Dodaje kako se nada da bi projekt mogao biti potpuno funkcionalan za otprilike dvije godine.
"Ideja je pola posla, ali put do nje zahtijeva mnogo rada dok se ne dođe do pravog rješenja. Od samog početka željeli smo raditi s umjetnom inteligencijom. Razmatrali smo kako možemo pomoći zajednici koristeći AI, a da pritom budemo jedinstveni na tržištu. Upravo se tako rodila ideja za ShowMe projekt", otkriva Stepinac i dodaje da su tijekom razvoja projekta ostvarili kontakte s nekoliko investitora koji su prepoznali potencijal aplikacije ShowMe i pokazali interes za buduće ulaganje i suradnju.
"U trenutku kada su se pojavile prve prilike za ozbiljnije investicije, naš tim još uvijek nije bio u fazi u kojoj bismo mogli u potpunosti odgovoriti na zahtjeve takvog iskoraka jer smo smatrali da je važno prvo izgraditi kvalitetan i stabilan proizvod. Danas nam takav interes predstavlja dodatnu motivaciju i potvrdu da ShowMe ima potencijal za značajan daljnji razvoj", zaključuje Ivan Stepinac.
Za sudjelovanje u komentarima je potrebna prijava, odnosno registracija ako još nemaš korisnički profil....