Sisu
Reaalajas pealdis on veel üks lahedamaid Androidi funktsioone, mis kasutab seadme videopiltide ja veebiklippide pealdiste genereerimiseks seadme masinõpet.
Google on avaldanud ajaveebipostituse, milles on täpselt kirjeldatud, kuidas see vahva funktsioon töötab, ja see koosneb tegelikult kolmest seadme peal olevast masinõppe mudelist.
Kõnesituvastuse enda jaoks on olemas korduva närvivõrkude jadade edastamise (RNN-T) mudel, kuid kirjavahemärkide ennustamiseks kasutab Google ka korduvat närvivõrku.
Kolmas seadme masinõppe mudel on konvolutsioonne närvivõrk (CNN) helisündmuste, näiteks lindude säutsumise, inimeste plaksutamise ja muusika jaoks. Google väidab, et see kolmas masinõppe mudel tuleneb tööst Live Transcripti juurdepääsetavuse rakenduses, mis suudab kõne- ja helisündmusi transkribeerida.
Reaalajas pealdise mõju vähendamine
Ettevõtte sõnul on Live Captioni akutarbimise ja jõudluse nõudmise vähendamiseks võetud mitmeid meetmeid.Ühe puhul töötab täisautomaatse kõnetuvastuse (ASR) mootor ainult siis, kui kõne tegelikult tuvastatakse, mitte pidevalt taustal töötades.
“Näiteks kui muusika tuvastatakse ja heli voos kõne puudub, ilmub silt ekraanile ja ASR-mudel laaditakse maha. ASR-mudel laaditakse mällu tagasi alles siis, kui kõne on helivooges jälle kohal, ”selgitab Google oma ajaveebi postituses.
Google on kasutanud ka selliseid tehnikaid nagu neuraalsete ühenduste pügamine (kõnemudeli suuruse vähendamine), vähendades energiatarbimist 50% ja võimaldades Live Captionil pidevalt töötada.
Google selgitab, et pealdise moodustumisel värskendatakse kõnetuvastuse tulemusi paar korda sekundis, kuid kirjavahemärkide ennustamine on erinev. Ressursivajaduse vähendamiseks pakub otsinguhiiglane kirjavahemärkide ennustamist “teksti sabal alates viimati tunnustatud lausest”.
Live Caption on nüüd saadaval Google Pixel 4 seerias ja Google väidab, et see on varsti saadaval Pixel 3 seerias ja teistes seadmetes. Ettevõtte sõnul töötab ta ka teiste keelte toetamise ja mitme kõnelejaga sisu parema toetamise nimel.
