See artikkel on teine osa seerias, mis uurib, kuidas me saame arvutitega eesti keeles rääkida. Loe esimest lugu siit.

Seda, et Eesti teadlased on välja töötanud maailmatasemel kõnetuvastuse, kinnitavad Balti meediamonitooringu grupi (BMMG) kaks juhti. Sven-Erik Heinsoo ja Toomas Toots istuvad Tallinnas Pärnu maanteel wallstreetliku klaashoone 12. korrusel, akna taga tantsimas lumehelbed nagu sõnad meedias.

BMMG jälgibkogu Eesti meediapilti. Ja seda sellise professionaalsuse ja laia haardega, et kui jaanuari lõpus selgus, et firma üle omab kontrolli meedia- ja apteegiärimees Margus Linnamäe, pani see konkureerivad meediagrupid kohe BMMG-ga suhteid lõpetama. Firma ärimudel on aga lihtne: iga päev annab BMMG Eesti ettevõtetele ja riigiametitele kõikehõlmava ülevaate sellest, millest ja kellesttäpselt Eesti meedias räägitakse.

“Iga päev ilmub Eestis keskmiselt 2000-3000 uudisteühikut, mis sisaldab kõike alates online-artiklitest kuni telesaadeteni,” iseloomustab firma juhatuse liige Toomas Toots Eesti meediamaastiku suurust.Meediamonitoorijate ülesanne on klientidele ülevaade anda, kus ja kui palju neist meedias räägitakse. Kui kirjalikust tekstist on seda analüüsi lihtne teha, siis televisiooni ja raadioga on see hoopis keerulisem. Just siin tulevadki appi Tallinna tehnikaülikooli (TTÜ) küberneetika instituudis loodud algoritmid.

Inimestega sama tööd teha ei jõuaks

“Tele ja raadio on väga tähtis osa meediamaastikust,” rõhutab firma juhatuse esimees Sven-Erik Heinsoo. Puhtalt inimeste tööjõuga käiks päevas sadu tunde tele- ja raadiosaateid läbi kuulata üle jõu, keskenduda tuleks ainult kõige tähtsamatele. Ent paar aastat tagasi avastas firmapooljuhuslikult, et TTÜ foneetika ja kõnetehnoloogia laboratooriumi teadlased loovad tarkvara, millest võiks meediamonitoorijatele olla praktilist kasu.

Kui arvuti on õpetatud eestikeelset kõnet mõistma, siis monitoorijatel jagub sellisele arvutile iga päev kõvasti tööd.

“Protsess algab sellest, et salvestame saated striimist maha. Meil tekib helifail,” seletab Toots, kuidas teadlaste loodud kõnetuvastus praktiliselt kasutusse on võetud.“TTÜ teadlaste pakutud tarkvara võtab üldjuhul helifaili, “kõristab” seda natuke ja annab tekstiväljundi."

Saade lõigatakse tükkideks jatükid söödetakse korraga ette

Probleem on aga selles, et kõnetuvastusealgoritmide töödpole võimalik paralleliseerida. "Kui arvutil on kaheksa tuumaga protsessor, siis ei algoritm ei suuda neid kõiki ära kasutada,” selgitab Toots pudelikaela. Nii kuluks kõnetuvastuseks1–1,08 nominaalaega ehk tunniajase saate tekstiks saamiseks kuluks pisut üle tunni. See ei läheks mitte, järjekorrad kuhjuks."Meie jaoks on monitooringu kiirus tähtis. Nii ei saa, et hommikune “Terevisioon” on õhtuks või alles järgmiseks hommikuks kättesaadav,” seletab Toots.

“Mida meie oleme lahendusena teinud, on see, et lõikame faili juppideks ja paneme korraga kaheksa tuumaga arvutis tuvastama kaheksa helifaili. “Terevisiooni” saate, mis käib kaks tundi, saame poole tunni pärast juba kätte,” selgitab Toots, kuidas tele- ja raadiosaadete tekstindamine kiiremaks on tehtud.

Mees, kes ei eksi kunagi

Moodne tehnoloogia oskab inimesi ka lõbustada. Paratamatult ei suuda tarkvara kogu kõnet veatult üles kirjutada, aga mõne kõneleja puhul esineb miskipärast vigu vähem.

“Eristub üks inimene, kelle kõnest tarkvara alati kõige täpsemini aru saab. Arvake, kes see on?” küsib Heinsoo. Peast käib läbi hulk poliitikuid, kõnemehi ja saatejuhte, aga vastus üllatab. “Rohke Debelakk."

Praeguse statistika järgi annavad algoritmid 17% valepositiivseid vasteid. See tähendab, et 17% sõnade puhul paneb arvuti kirja midagi muud, mida inimese kõrv kuuleks – ja see on väga hea tulemus.

“Selles valdkonnas on üldjuhul tavaline, et 80% õige tuvastuse saavutamine on üsna kerge, ülejäänud 20% aga väga raske,” räägibToots. "Kui me alustasime, siis oli valepositiivseid vasteid 26%, nüüd on see kahanenud 17% peale. Ja eks me toetame teadlasi, et nad seda protsenti kogu aeg väiksemaks saaks.”

Huumorialgoritm võib Debelakitööta jätta

Kui inimene tekstiks pööratud kõnet loeb, on valepositiivseid vasteid loogika ja konteksti kaudu pea alati võimalik tajuda. Kuid möödapanekud on üsna naljakad, parimad palad saadetakse ettevõtte sees meili teel ringlema. "Aega ajalt on meie tehisintelligentsel kolleegil täiesti erinev arusaam räägitust. Kui nii edasi läheb, siis Debelakk jääb varsti tööta,” nendib Heinsoo.

Nii on tarkvara kuulanud ja raporteerinud (kirjapilt muutmata):

• …riikliku lennufirmaga Estonian Beer lendas tänavu kahe esimese kuuga kuuskümmend üheksa tuhat kaheksasada kakskümmend viis reisijat…
• …eurobaromeetri uuringust selgub et Euroopa Liidult ootab abielukvaliteedi parandamistkakskümmend kuus protsenti Eesti kodanikest…
• …Tallinna munitsipaalpolitsei tappis oktoobrikuus Tallinna ühissõidukites viissada kakskümmend neli inimest ehk saja kolmekümne seitsme võrra rohkem kui ta pidi septembris…
• …Edgar Savietanool…

Kuigi tarkvara kasutab eesti keele korpust, satub vahepeal süsteemi ka näiteks venekeelne "Aktuaalne Kaamera", mis toodab eriti psühhedeelseid tulemusi:

• …edestas Toomas Lepa psüühikaga õpilane nii-öelda tunnelist on laste abi…

Kord Riigikogu istungi salvestist analüüsides tegi tarkvara poliitiliselt teravmeelse tähelepaneku:

• …sõna võtavad peaminister Taavi Rõivas, majandus ja pärispeaminister Kristen Michal…

Äri tuleproov: kas kõnetuvastusest on kasu?

Ent nali naljaks, iga uue tehnoloogia tuleproov on siiski äri. Kui tehnoloogia ei suuda end äriliselt tõestada, siis ei jää tast ajaloos palju järgi.

Meediamonitooringu tegijad möönavad, et ilma kõnetuvastustehnoloogiata poleks neil mõttekas palgata inimesi sama tööd tegema – kogu Eesti raadio- ja telesaateid läbi kuulama. See ei tasuks end ära. Ent kuna teadlased on eesti keelega osa tööst juba ära teinud, siis on sellest kasu ikkagi. “Vau-efekt on võimas, kui seda oma klientidele näitame,” nimetab Heinsoo esimese argumendina, miks nad on ikkagi näinud mõtet sellesse investeerida.

Teiseks tekib neil enneolematult hea ülevaade Eesti meediast, kuigi “toorelt” pole masina toodetud tekst valepositiivsete vastete pärast päris kasutatav. Küll aga võib station.ee infosüsteemi lüüa märksõna või nime ja nii saab pea koheselt ülevaate, millal ja kui palju seda meedias mainitud on.

Andmebaas on massiivne ja põhimõtteliselt võib kindel olla, et kui satute Eestis raadiosse või telesaatesse ja ütlete mõne sõna, indekseerib masin selle ära. Tõestuseks avab Toots süsteemi ja proovib seal selle artikliautori nime. Kohe hüppab lahti “Digitund” ja teised saated, tulemused näivad tõesed.

Laienemine teise keeleruumi

Nii näib, et kõnetuvastus on meediamonitooringu äris pigem eksootiline lisand,nice to have.

Ent viimane tõestus selle kohta, et ettevõtjad näevad kõnetuvastustehnoloogias kasu, tuleb Leedust.Balti meediamonitooringu grupp tegutseb sisuliselt kõigis kolmes Balti riigis, ent nüüd käivitavad nadTTÜ teadlaste algoritmidel põhineva kõnetuvastuse ka Leedu meediamonitooringus.

"Alguses arvasime, et see tehnoloogia onkeelest sõltuv. Aga nüüd me oleme aru saanud, et [Eesti teadlased] on maailmatasemel: algoritmid on universaalsed, seepärast saabki laineharjal sõita mitme keelega,” räägib Heinsoo.

Asja teeb eriti kurioosseks fakt, et TTÜ keeletehnoloogide seas leedu keele rääkijaid pole. Süsteemi käivitamiseks tuleb seda “õpetada” õigete transkriptsioonidega ehk sööta tarkvarale sisse kõne ja selle korrektne kirjalik vaste, milleks leedukad on eeltöö teinud.

Kui leedu keele tuvastus firmastööle hakkab, mida Heinsoo ja Toots loodavad tänavu kevadelnäha, oleks see Eestis loodud keeletehnoloogiale võimas kvaliteedipitser.

See artikkel on teine osa seerias, mis uurib, kuidas me saame arvutitega eesti keeles rääkida. Loe esimest lugu siit.

Avafoto: Peeter Langovits (PM/Scanpix)