Teadlased parandavad närvivõrkude sügavat õppemeetodit

Riigikogu istung, 16. jaanuar 2018 (Aprill 2019).

Anonim

Riikliku uurimisotstarbelise tuumaenergia ülikooli MEPhI (Venemaa) küberrünnakute uurimisinstituudi teadlased on hiljuti välja töötanud uue õppemudeli piiratud Boltzmanni masinas (närvivõrk), mis optimeerib semantilise kodeerimise, visualiseerimise ja andmete tuvastamise protsesse. Selle uuringu tulemused avaldatakse ajakirjas Optical Memory and Neural Networks.

Praegu muutuvad üha populaarsemaks uurimisvaldkonnaks erinevad arhitektuuriga sügavad närvivõrgud, nagu konvolutsioonilised, korduvad ja automaatkodeeringuvõrgud. Mitmed kõrgtehnoloogilised ettevõtted, sealhulgas Microsoft ja Google, kasutavad intelligentsete süsteemide kavandamiseks sügavaid neuronitevõrke.

Sügava õppe süsteemides on funktsiooni valimise ja konfigureerimise protsessid automatiseeritud, mis tähendab, et võrgud saavad valida hierarhilise funktsiooni eraldamise kõige tõhusamaid algoritme ise. Sügavat õppimist iseloomustab suurproovide abil õppimine, kasutades ühte optimeerimisalgoritmi. Tüüpilised optimeerimisalgoritmid seadistavad kõigi operatsioonide parameetrid üheaegselt ja tõhusalt hindavad iga närvivõrgu parameetri mõju viga nn back-propagation meetodi abil.

"Närvivõrkude võime ise õppida on üks neist kõige intrigeerivatest omadustest, " selgitas MEPhI Cyber ​​Intelligence Systems Instituudi professor Vladimir Golovko. "Nagu bioloogilised süsteemid, saavad neuronite võrgud end ise modelleerida, püüdes välja töötada parima võimaliku käitumismudeli."

2006. aastal oli närvivõrkude koolituse valdkond läbimurre, kui Geoffrey Hinton avaldas ettevalmistusvõrgustike uurimistöö. Ta märkis, et mitmekihilised närvivõrgud võiksid eelnevalt koolitada, koolitades ühe kihi korraga piiratud Boltzmanni masina abil ja seejärel täpsustades neid tagasisuhtluse abil. Neid võrgustikke nimetati süvendatud usuvõrkudeks või DBNiks.

Golovko analüüsis sügava masinõppe peamised probleemid ja paradigmad ning pakkus välja piiratud Boltzmanni masina uue õppemeetodi. Uurija näitas, et selle närvivõrgu koolitamise klassikaline reegel on tema arendatud meetodi erijuhtum.

"Uued teadlased Minski ja Papert näitasid, et skeemi klassifitseerimise seisukohalt on ühekihiline pertseptroon koos künnist aktiveerimisfunktsiooniga lineaarse eralduspinna, mis on põhjus, miks ta ei suuda lahendada eksklusiivset või probleemset probleemi, " Golovko märkis. "See viis pessimistlike järelduste tegemiseni neuraalvõrkude edasise arengu kohta. Kuid viimane väide kehtib ainult ühekihilise pertseptoni kohta, mille künnis või monotoonne pidev aktiveerimisfunktsioon, näiteks sigmoidne funktsioon. Kui üks kasutab signaali aktiveerimist funktsiooni võib ühekihiline pertseptroon lahendada "eksklusiivset või" probleemi, kuna see võib jagada alade ja nullide klassideks kahe sirgjoone abil. "

Uurimus hõlmas ka süvaarse neuronitevõrkude väljavaadete analüüsi andmete tihendamiseks, visualiseerimiseks ja tunnustamiseks. Peale selle pakkus Golovko välja uue lähenemise semantilise kodeerimise või räsimise rakendamiseks, mis põhineb sügavate auto-assotsieeruvate närvivõrkude kasutamisel.

Autori sõnul võib see sügav õppimismeetod olla väga kasulik otsingumootorite neuronivõrkude koolitamiseks, kuna see parandab asjakohaste piltide otsimist.

Neil lehtedel on suur praktiline väärtus: nad on juba leidnud rakenduse arvutivaate, kõnetuvastuse ja bioinformaatika valdkondades.

menu
menu