Sisu
Lisaks arvutusfotograafiale, kvaliteetsele kaamera riistvarale ja pildisignaaliprotsessoritele pakuvad tipptasemel mobiilfotograafiat üha enam masinõppe algoritmid - tuntud ka kui tehisintellekt (AI). See fotograafiatehnika lubab parandada kvaliteeti, liikudes DSLR-laadsele kvaliteedile, pakkudes uusi loomingulisi viise piltide ja videote salvestamiseks ja redigeerimiseks.
Masinõppe võti on närvivõrkude kasutamine. See on teatud tüüpi algoritm, mida sageli võrreldakse inimese ajuga. Selle võrdluse aluseks on närvivõrgu võime koolitada andmete kasutamise kaudu mustreid ära tundma, mis võimaldab sellel teha keerukate andmetüüpide, näiteks heli ja piltide, ülitäpse klassifikatsiooni.
Fotograafia puhul on vaatlus-, õppimis-, genereerimis- ja klassifitseerimisvõimalustel lai valik rakendusi. Need rakendused võivad sisaldada funktsioone, näiteks arvutuslike fotograafiatehnikate arendamine järeltöötlusalgoritmide parendamiseks, 4K videoga reaalajas tarkvarabokeh või isegi teie kantavate riiete värvide täielik vahetamine.
Kuidas närvivõrgud töötavad?
Neuraalvõrgud on väga keeruline teema, nii et käsitleme siin ainult põhitõdesid. Täpsemalt lugemiseks tutvuge juhenditega siin ja siin.
Neuraalvõrgud koosnevad sõlmedest, mis tähistab seda, kus mõnda arvutamist tehakse. Iga sõlm ühendab sisendi kaaluga, mis võimendab või nõrgendab selle konkreetse sõlme olulisust. Mitmed sõlmed töötavad sageli paralleelselt, luues sõlmede kihi, mis täidab suuremat ülesannet. See võib olla näiteks funktsiooni tuvastamine pildil. Mitu sõlme ja kihti saab kokku liita ja teistele sõlmedele ja kihtidele edasi anda, moodustades sügavama võimaste võimalustega võrgu.
Iga sõlme ja kihi väljund skaleeritakse tõenäosusfunktsioonina. Vaadates paljusid erinevaid funktsioone ja atribuute, saab närvivõrk hinnata sisendit tõenäosusmatusena kõigi eeldatavate potentsiaalsete väljunditega. Nii otsustavad pildi tuvastamise algoritmid, kas pilt näeb rohkem välja nagu kass või oranž, kuid sa pead talle ütlema, mida kõigepealt otsida.
Neuraalvõrgud pole programmeeritud nii nagu traditsioonilised arvutialgoritmid. Selle asemel treenitakse neid selliste andmekogumite osas nagu pildid, helifailid jne. Iga sõlme kaalu kohandatakse aja jooksul järk-järgult tagasisideahela abil, lähtudes sellest, kui hästi võrk sisendite õigele väljundile sobitamisel hakkama sai. Reeglite järkjärguline “õppimine” võtab palju ettevalmistusi, aega ja arvutusvõimsust, kuid annab fenomenaalselt täpseid tulemusi.
Neuruvõrgud nutitelefoni sees
Neuraalvõrgud võivad töötada mitmesugustel riistvarakomponentidel, sealhulgas CPU ja GPU osadel, mis on ühised arvutusseadmete, sealhulgas teie nutitelefoni jaoks. Kuid mõned närvivõrgud võivad vajada rohkem töötlemisvõimsust, kui need riistvarakomponendid suudavad anda, ja spetsiaalne riistvara võib pakkuda vajalikku optimaalset töötlemist.
Näiteks leiate Qualcomm® Snapdragon ™ 855 mobiilsest platvormist uusima Qualcomm® Hexagon ™ 690 digitaalse signaaliprotsessori (DSP), millel on täiustatud vektorprotsessorid ja uus spetsiaalselt masinõppeülesannete jaoks mõeldud Tensor Accelerator. Teistel Snapdragon mobiilplatvormidel on ka Hexagon DSP komponent, millel on erinevad võimalused. Sellegipoolest ei piirdu närvivõrgud ainult sellega, et töötab DSP-l Snapdragonil ja muudel mobiilplatvormidel. Kasutatava protsessori tüüp sõltub töökoormusest.
Qualcomm Snapdragon 855 masinõppe parandamine võrreldes eelmise põlvkonnaga
Qualcomm Technologies avab oma DSP ja masinõppe võimalused kolmandate osapoolte arendajatele oma Qualcomm® Neural Processing SDK kaudu. See võimaldab rakendustel käivitada närvivõrke kõigis Snapdragoni mobiilplatvormi riistvaratuumades. Näiteks Google Pixeli nutitelefonid kasutavad muljetavaldava HDR + fotograafiafunktsiooni kiirendamiseks Hexagon DSP-d ja oma Visual Core'i. Qualcomm Technologies töötab koos tarkvaratootjatega nagu Arcsoft, Elevoc, Polar, Loom, Mobius, Morpho ja palju muud, toetades funktsioone alates video bokehist kuni avatari loomiseni, kasutades DSP-l töötavat masinõpet.
AI võiks kujundada fotograafia tulevikku
Nüüd teame, kuidas närvivõrgud töötavad, oluline küsimus on, mida see meie ja meie fotode jaoks teha saaks?
Neuraalvõrke kasutatakse mitmesuguste levinumate fotograafia algoritmide parendamiseks. Näiteks müra vähendamist saab parandada koolitusega, et pakkuda suurepärast pilti, mis on kohandatud vastavalt konkreetsele kaamerale või võtte tüübile. Samuti suudaks närvivõrk hämaras valguses tuvastada pildi heledad ja tumedad osad, võimaldades valguse ja värvide täiustamist stseeni konkreetsetes osades.
Nutitelefonide fotograafias on üha levinumad kasutusjuhud. Ülisuure eraldusvõimega suumid kasutavad närvivõrke, et ühendada mitu pilti üheks suure eraldusvõimega kaadriks, et saada suurepärase välimusega digitaalne suum. Neuraalvõrke saab koolitada ka mitme fotoekspositsiooni täpseks õmblemiseks parema HDR-i ja öövõtete tegemiseks.
AI-fotograafia võib hõlmata ülresolutsiooniga suumi, reaalajas kasutatavat funktsiooni ja paremat pildikvaliteeti.
Selle tehnoloogia kasutuselevõtust võiks kasu olla ka video jaoks. Objektide reaalajas tuvastamine on loodud selleks, et rakendused saaksid tarkvara bokeh-efekte otse salvestamise ajal videosse viia. Sarnased tehnikad toetavad ka objektide reaalajas vahetamist ja eemaldamist. See hõlmab video tausta vahetamist, värvide muutmist või eemaldamist ja isegi rõivaesemete asendamist või digitaalsete avataride otse videole asetamist.
Neuraalsete võrkude ja AI-fotograafia jõud ulatub DSLR-i tühimiku vähendamiseks mõeldud kvaliteedi parandamisest kuni võimsate loovusriistadeni, mis muudavad unikaalse sisu tootmise imelihtne. Mõlemal juhul on see võimas tehnoloogia, mis on mobiilse fotograafiaga seotud edaspidiste paranduste jaoks ülioluline.
Järgmine: Google Pixel 3 XL rahvusvaheline kingitus!
Sisu sponsoreerib Qualcomm Technologies, Inc.
Qualcomm Snapdragon, Qualcomm Hexagon, Qualcomm Adreno, Qualcomm Spectra, Qualcomm AI Engine ja Qualcomm Kryo on ettevõtte Qualcomm Technologies, Inc. ja / või selle tütarettevõtete tooted.
