BME VIK Automatizálási és Alkalmazott Informatikai Tanszék

Megoldás neve:

Sign Buddy

Megoldás célja:

Megfigyelhető, hogy a nyelvek közötti gépi fordítás széles körben és formátumban elérhető már. Régen túl vagyunk már az egyszerű szótár alapú fordítókon, a különböző transzformer, és nagy nyelvi modellek térhódításával gyakorlatilag tetszőleges nyelvek között megoldható az átjárás. Ez alól kivétel azonban a jelnyelv. Nem létezik olyan megoldás a piacon, ami segíti a jelelő kommunikációját a jelelni nem tudó személy felé, pedig világszerte körülbelül 1,5 milliárd ember hallássérült, és több mint 70 millió használja a jelnyelvet, mint elsődleges kommunikációs formát.
Kutatási projektünk célja, széles tömegek számára elérhető jelnyelv fordító rendszerek fejlesztése, valamint valós idejű fordítás révén, a hallássérült személyek számára teljes mértékben rendelkezésre álljanak azok a szolgáltatások mint halló társaiknak, ideértve az oktatást, az egészségügyet, a közszolgáltatásokat és a társadalmi interakciókat is. Átfogó célunk az, hogy hozzájáruljunk a szélesebb körű kommunikációs hozzáférhetőséghez, elősegítve a befogadást és az egyenlő lehetőségeket mindenki számára.

Működés:

A rendszer működéséhez csak egy átlagos, laptopokban, telefonokban vagy tabletekben megtalálható kamerára van szükség. A megoldásunk minden képkockán azonosítja a fontos jellemzőket, például az ujjperceket, vállakat, az arc különböző pontjait stb. Ezután a jellemzőket egy olyan technológia segítségével fordítja át folyamatos szövegre, amelyet nagy nyelvi modelleknél (pl.: Chat GPT) is előszeretettel alkalmaznak. Ez a folyamat lehetővé teszi, hogy a rendszer követhesse és értelmezze a kézmozdulatokat, és azokat a megfelelő szavakká vagy mondatokká alakítsa, így segítve a hallássérült embereket a kommunikációban. Ez a funkcionalitás természetesen sok helyre beépíthető. A teljesség igénye nélkül: konferencia alkalmazás, telefonos applikáció, virtuális valóság szemüveg, online meeting platformok plugin-jeként, video ügyfélszolgálatok kiegészítője, stb.

Célcsoport:

Elsődleges célcsopor a siket vagy nagyothalló egyénekre terjed ki, számukra a termék lehetőséget biztosít a szélesebb közösséggel való zökkenőmentes kommunikációra. Üzleti jellegű célsoport pedig a video alapú kommunikációs platformok, akik ezzel a szolgáltatással szeretnék javítani a felhasználói élményt. Emellett a közszolgáltatások, mint oktatási intézmények, kórházak, szintén kulcsfontosságúak, hiszen kihasználhatják megoldásunkat a hallássérült lakosság igényeinek kielégítésére. A harmadik szegmenst a fejlesztők és innovátorok alkotják, akik jelnyelvi fordítási képességeket kívánnak beépíteni alkalmazásaikba és szolgáltatásaikba.
A megoldás továbbá szélsőségesebb esestekben is hasznos lehet például drónok és videos rendszerek használata során kommunikációra is lehet használni, ahol a hang nélküli kommunikáció és a gyors/valós idejű kommunikáció különösen fontos (például katonai megfigyelés, hírszerzés).

Üzleti modell:

A projekt ötvözi a Platform mint Szolgáltatás (PaaS) modell lényegét a Társadalmi Hatású Partnerségekkel és a Konkrét Termékek létrehozásával, hogy forradalmi megoldást teremtsen a jelnyelvek fordítására.
A középpontban egy olyan licencelhető API/SDK áll, amely valós idejű jelnyelv fordítási képességeket szolgáltat. Ez a robosztus eszközkészlet lehetővé teszi a fejlesztők számára, hogy zökkenőmentesen beágyazzák innovatív technológiánkat, növelve ezzel az elérhetőséget és a befogadást különböző iparágakban és szektorokban.
Egyidejűleg eltökéltek vagyunk abban, hogy olyan együttműködéseket formáljunk, amelyek lehetővé teszik megoldásunk megvalósítását közösségi területeken. Célunk az oktatási intézményekben, egészségügyi létesítményekben, kormányzati ügynökségekben és közszolgáltatásokban lévő kommunikációs akadályok leküzdése.
Továbbá törekszünk arra, hogy technológiánk sokoldalúságát és gyakorlatiasságát konkrét termékek létrehozásával mutassuk be. Ezek közé tartoznak például a videó konferencia alkalmazásokban való felhasználás, amelyek lehetővé teszik a valós idejű jelnyelvi tolmácsolást csoportos beszélgetések során. Emellett a virtuális valóság területét is felfedezzük, ami a hétköznapi interakciókban segítené a jelelőt, kiegészítve hang generálásával.
Ezzel a többdimenziós megközelítéssel nem csak az API/SDK licence alapú kereskedelmi célú használatát kívánjuk biztosítani, hanem jelentős társadalmi hatást kívánunk elérni.

Referenciák:

A projekt prototípus állapotnál tart és elkezdtük annak a bemutatását kiállításokon. Ezen felül a megoldásóbl készült már tudományos publikáció és TDK 1. helyezett munka is.
A projektben nagy fantáziát látunk és a megszerzett know-how is olyan értéket jelent, melyre alapozva további MI és gépi látás alapú megoldásokat tudunk készíteni ezért a tervünk a konkrét termék értékesítésén túl annak a képességnek a piacra vitele, hogy egyedi megoldásokat tudunk tervezni és megvalósítani ezen a területen.