"Silmapaistvate" videote tuvastamine silma vilkumisel

Anonim

Uus valeandmete vorm on valmis veebikogukondade kaudu levima, kui 2018. aasta vahetuvad valimiskampaaniad soojenevad. Nimega "deepfakes" pärast pseudonüümset veebipõhist kontot, mis populariseeris tehnikat - mis võis selle nime välja valida, kuna protsess kasutab tehnilist meetodit nimega "sügav õppimine" - need võlts videod tunduvad väga realistlikud.

Seni on inimesed pornograafias ja satiiris kasutanud sügavaid fotosid, et tunduda, et kuulsad inimesed teevad asju, mida nad tavaliselt ei tee. Kuid kampaaniahooajal ilmuvad peaaegu kindlad sügavad vihjed, mille eesmärk on kujutada kandidaate, kes ütlevad asju või lähevad kohale, kus tegelik kandidaat seda ei tee.

Kuna need tehnikad on nii uued, on inimestel probleeme tõeliste videote ja sügavate videote erinevusega. Minu töö koos minu kolleegi Ming-Ching Changi ja meie doktorikraadiga üliõpilane Yuezun Li, on leidnud viisi usaldusväärsete videote edastamiseks sügavatest videotest. See pole püsiv lahendus, sest tehnoloogia paraneb. Kuid see on algus ja pakub lootust, et arvutid saavad aidata inimestel tarkusest ilukirjandusest rääkida.

Mis on "sügav täiuslik"?

Süvendatud video loomine on palju nagu keelte tõlkimine. Teenused, nagu Google Translate, kasutavad masinaõpetust - kümnete tuhandete tekstide mitmetes keeltes arvutianalüüs -, et tuvastada tõlke loomiseks kasutatavad sõnamärgid.

Deepfake algoritmid toimivad samamoodi: nad kasutavad ühe masinaga seotud näo liikumise uurimiseks ühte tüüpi masinaõppesüsteemi, mida nimetatakse sügavale närvivõrgule. Siis sünteesivad nad teise inimese nägu pilte, mis teevad analoogseid liigutusi. Nii efektiivselt luuakse sihtmärgiks oleva inimese video, mis näitab, kas see on tehtud või on öeldud, mida allikas inimene tegi.

Enne kui nad saavad korralikult töötada, vajavad sügavad neuronivõrgud palju lähteteavet, näiteks nende isikute fotod, kellel on isiksuse allikas või eesmärk. Mida rohkem pilte kasutatakse sügavpuhke algoritmi väljaõppimiseks, seda realistlikum on digitaalne isikupärastamine.

Vilkuv tuvastamine

Sellel uuel tüüpi algoritmil on endiselt vigu. Üks neist on seotud sellega, kuidas simuleeritud näod vilguvad - või mitte. Terved täiskasvanud inimesed vilguvad kuskil iga 2-10 sekundi järel ja ühe vilkumisega jääb üks kümnendik ja neljakümmend sekundit. See oleks tavaline, kui näeksite inimestest, kes räägivad videost. Kuid paljudel sügavalt täiuslikel videotel ei juhtu midagi.

Kui sügavpuhke algoritm õpetatakse inimese pilkupiltidele, sõltub see internetist kättesaadavatest fotodest, mida saab kasutada koolitusandmeteks. Isegi inimestele, kes on tihtipeale pildistatud, on internetis saadaval vähe pilte, mis näitavad nende silmi kinni. Mitte ainult selliseid fotosid nagu haruldane, sest inimeste silmad on enamus ajast avatud, kuid fotograafid ei avalda tavaliselt pilte, kus peamist teemade silmad on suletud.

Ilmselt vilkuvate inimeste piltide koolitamise korral ei suuda sügavpuude algoritmid tõenäoliselt luua nägusid, mis vilguvad tavaliselt. Kui arvutame üldise vilkumise määra ja võrreldame seda loodusliku vahemikuga, siis leidsime, et sügava sisuga videote sümboleid vilguvad reaalsetes inimestega võrreldes märksa harvemini. Meie uurimus kasutab masina õppimist silmade avamisel ja sulgemisel videotes.

See annab meile inspiratsiooni sügavate videote tuvastamiseks. Seejärel töötame välja meetodi, et tuvastada, millal video inimene vilgub. Konkreetsemini skaneerib see iga videoklipi raami, tuvastab selle näod ja seejärel otsib silmad automaatselt. Seejärel kasutab teine ​​sügav närvivõrk tuvastatava silma avamiseks või sulgemiseks, kasutades silma välimust, geomeetrilisi tunnuseid ja liikumist.

Me teame, et meie töö kasutab ära valesid andmeid, mis sobivad sügavate algoritmide koolitamiseks. Selleks, et vältida samasuguse vigastuse saamist, oleme koolitanud meie süsteemi suurte avatud ja suletud silmade piltide raamatukogus. Tundub, et see meetod töötab hästi ja selle tulemusena oleme saavutanud üle 95 protsendi avastamise määra.

Loomulikult ei ole see lõplik sõna sügavate vihikute tuvastamiseks. Tehnoloogia paraneb kiiresti ja võltsitud videote genereerimise ja tuvastamise vaheline konkurents on analoogne malemänguga. Eriti võib vilkuvat pilti lisada sügava fokuseeritud videodesse, lisades suletud silmadesse nägemiskaotused või koolitades videojärjestusi. Inimesed, kes tahavad avalikkust segamini ajada, saavad valede videote tegemisest paremaks - ja meie ja teised tehnoloogia kogukonnas peavad jätkama nende avastamise viise.

menu
menu