Hangfelismerő rendszer értékelése

A BME-TMIT tanszék hangfelismerő rendszerének felhasználási lehetőségei között szerepelhet – sok egyéb mellett – a tudakozók és call centerek ügyféligényeinek automatizált felismerése.

A Magyar Telekom szempontjából ez a tudakozó szolgáltatás (egy részének) automatizálása jelenthet ígéretes alternatívát. Ennek megfelelően a tesztelés alapvető célja az volt, hogy a rendszer felismerési hatékonyságáról hiteles visszajelzést kapjunk.

A teszt során modelleztük a majdani felhasználók készülék variációját, felderítettük a hibás eseteket, és ezekről hanganyag készült. Végezetül pedig kimutatást készítettünk a hibás esetek számának és a nem, életkor, készüléktípus korrelációjának nagyságáról.

A tesztre egy külön, 200 000 rekordból álló tesztadatbázis készült a Magyar Telekom valós adatbázisából oly módon, hogy egy valós, adatbázisban szereplő névhez egy valós, de nem hozzátartozó utca – településnév - irányítószám hármas került. Ehhez véletlenszerűen egy házszám, valamint egy szintén valós, de nem az adott személyhez tartozó véletlen telefonszám párosult.

A teszthívásokat 120 fővel bonyolítottuk le, akik összesen 10 096 hívást kezdeményeztek. A tesztelők között vegyesen voltak nők és férfiak; fiatalabbak és idősebbek. A teszt a várakozásokat kissé meghaladó eredményt hozott.

Az eredményeket az eszközök szerinti bontásban volt célszerű leginkább górcső alá venni, hiszen ez mutatja a legnagyobb szórást. A mobilkészülék esetében a helyesen felismert nevek aránya valamivel kisebb volt, mint a fejbeszélős és kézi beszélős eszközök esetében.
Az átlagnál rosszabb felismerési pontosság a kor szerinti bontásban a 36-45 évesek csoportjánál észlelhető.  A 26-35 évesek és a 45 év felettiek nagyon hasonló, átlag feletti, a 19-25 évesek az átlaggal majdnem megegyező eredményt produkáltak.