Машиналық оқытуда перцептрон екілік классификаторлар үшін бақыланатын оқыту алгоритмі болып табылады. Оны жиі перцептрон деп те атайды. Екілік классификатор - бұл сандар векторымен ұсынылған кірістің белгілі бір класқа жататынын шеше алатын функция. Бұл сызықтық жіктеуіштің бір түрі, яғни салмақтар жиынын мүмкіндік векторымен біріктіретін сызықтық болжау функциясына негізделген өз болжамдарын жасайтын жіктеу алгоритмі.
Соңғы жылдары терең оқытудағы жетістіктерге байланысты жасанды нейрондық желілер назар аударды. Бірақ жасанды нейрондық желі дегеніміз не және ол неден тұрады?
Перцептронмен танысу
Бұл мақалада біз жалпы жасанды нейрондық желілерді жылдам қарастырамыз, содан кейін бір нейронды қарастырамыз және соңында (бұл кодтау бөлігі) жасанды нейронның ең негізгі нұсқасын аламыз нейрон, перцептрон және оның нүктелерін жіктеңізұшақ.
Неліктен кез келген адам үшін оңай, бірақ компьютерлер үшін керемет қиын тапсырмалар бар екенін ойлап көрдіңіз бе? Жасанды нейрондық желілер (қысқаша ANN) адамның орталық жүйке жүйесінен шабыттандырылған. Биологиялық аналогы сияқты, ANN үлкен торға біріктірілген қарапайым сигнал өңдеу элементтеріне құрылған.
Нейрондық желілер үйренуі керек
Дәстүрлі алгоритмдерден айырмашылығы, нейрондық желілер тағайындалғандай жұмыс істеу үшін «бағдарламалау» немесе «баптау» мүмкін емес. Адамның миы сияқты, олар тапсырманы орындауды үйренуі керек. Бір сөзбен айтқанда, үш оқыту стратегиясы бар.
Нәтижелері белгілі сынақ жағдайы (жеткілікті үлкен) болса, ең оңай әдісті қолдануға болады. Содан кейін оқыту келесідей өтеді: бір деректер жинағын өңдеу. Нәтижені белгілі нәтижемен салыстырыңыз. Желіні орнатып, әрекетті қайталаңыз. Бұл біз осы жерде қолданатын оқу стратегиясы.
бақылаусыз оқыту
Сынақ деректері жоқ болса және қалаған әрекеттен кейбір шығындар функциясын алу мүмкін болса пайдалы. Шығын функциясы нейрондық желіге оның мақсаттан қаншалықты алыс екенін айтады. Содан кейін желі нақты деректермен жұмыс істей отырып, параметрлерін жылдам реттей алады.
Бекітілген оқыту
«Сәбіз және таяқша» әдісі. Нейрондық желі үздіксіз әрекетті тудыратын болса, оны қолдануға болады. Уақыт өте желі дұрыс әрекеттерді таңдап, дұрыс емес әрекеттерден аулақ болуды үйренеді.
Жарайды, енді біз бұл туралы аздап білемізжасанды нейрондық желілердің табиғаты, бірақ олар нақты неден жасалған? Қақпақты ашып, ішіне қарасақ не көреміз?
Нейрондар нейрондық желілердің құрылыс блоктары болып табылады. Кез келген жасанды нейрондық желінің негізгі құрамдас бөлігі жасанды нейрон болып табылады. Олар тек биологиялық әріптестерінің атымен аталып қана қоймайды, сонымен қатар олар миымыздағы нейрондардың мінез-құлқына сәйкес үлгіленген.
Биология және технология
Биологиялық нейронның сигналдарды қабылдайтын дендриттері, оларды өңдейтін жасуша денесі және басқа нейрондарға сигнал жіберетін аксоны бар сияқты, жасанды нейронның да бірнеше кіріс арналары, өңдеу кезеңі және бір шығысы бар. көптеген басқаларға таралады. жасанды нейрондар.
Бір перцептронмен пайдалы нәрсе жасай аламыз ба? Бір перцептрон шеше алатын есептер класы бар. Кіріс векторын нүкте координаттары ретінде қарастырайық. n-элементтері бар вектор үшін бұл нүкте n-өлшемді кеңістікте өмір сүреді. Өмірді жеңілдету үшін (және төмендегі код), оны 2D деп алайық. Бір жапырақ қағаз сияқты.
Келесі, біз осы жазықтықта кездейсоқ нүктелер сызып, қағаз бетіне түзу сызық жүргізу арқылы оларды екі жиынға бөлетінімізді елестетіңіз. Бұл сызық нүктелерді екі жиынға бөледі, біреуі түзудің үстінде және екіншісінде. Содан кейін екі жиын сызықтық бөлінетін деп аталады.
Бір перцептрон қаншалықты қарапайым болып көрінсе де, бұл сызықтың қай жерде екенін біле алады және жаттығуды аяқтағаннан кейін ол берілген нүктенің осы сызықтың үстінде немесе астында екенін анықтай алады.
Тарихөнертабыстар
Бұл әдістің алгоритмін 1957 жылы Корнелл авиациялық зертханасында Фрэнк Розенблат (көбінесе оның атымен аталған) ойлап тапты, ол АҚШ-тың Әскери-теңіз зерттеулер басқармасы қаржыландырады. Перцептрон бағдарлама емес, машина болуды көздеді және оның бірінші іске асырылуы IBM 704 үшін бағдарламалық құралда болғанымен, кейін ол «Mark 1 Perceptron» ретінде арнайы құрастырылған аппараттық құралда жүзеге асырылды. Бұл машина кескінді тану үшін әзірленген: оның нейрондарға кездейсоқ қосылған 400 фотоэлемент массиві болды. Салмақ потенциометрлерде кодталды және жаттығу кезінде салмақты жаңарту электр қозғалтқыштары арқылы жасалды.
1958 жылы АҚШ Әскери-теңіз күштері ұйымдастырған баспасөз конференциясында Розенблат жас AI қауымдастығы арасында қызу пікірталас тудырған перцептрон туралы мәлімдеме жасады; Розенблаттың мәлімдемелеріне сүйене отырып, New York Times газеті перцептрон «Әскери-теңіз күштері жүре, сөйлесе, көре, жаза алады, өзін-өзі көбейте алады және оның бар екенін біле алады деп күтетін эмбриондық электронды компьютер» деп жазды.
Әрі қарай әзірлемелер
Перцептрон бастапқыда перспективалы болып көрінгенімен, перцептрондарды үлгілердің көптеген кластарын тануға жаттықтыруға болмайтыны тез дәлелденді. Бұл екі немесе одан да көп қабаттары бар (сондай-ақ деп те аталады) алға бағытталған нейрондық желі деп танылғанға дейін көптеген жылдар бойы перцептрондық нейрондық желілермен зерттеу саласындағы тоқырауға әкелді.көпқабатты перцептрондар) бір қабатты перцептрондарға қарағанда (бірқабатты перцептрондар деп те аталады) өңдеу қабілеті әлдеқайда жоғары болды. Бір қабатты перцептрон тек сызықты түрде бөлінетін құрылымдарды зерттеуге қабілетті. 1969 жылы Марвин Мински мен Сеймур Паперттің әйгілі «Перцептрондар» кітабы бұл желілер кластары XOR функциясын меңгере алмайтынын көрсетті. Дегенмен, бұл бір қабатты перцептронда қолдануға болатын сызықты емес жіктеу функцияларына қолданылмайды.
Мұндай функцияларды пайдалану XOR функциясын жүзеге асыруды қоса алғанда, перцептронның мүмкіндіктерін кеңейтеді. Көбінесе олар көпқабатты перцептрондық желі үшін де ұқсас нәтиже орындалады деп болжаған (қате) деп болжанады. Алайда, бұл олай емес, өйткені Мински де, Паперт та көп қабатты перцептрондардың XOR функциясын жасай алатынын бұрыннан білетін. Үш жылдан кейін Стивен Гроссберг дифференциалдық функцияларды, контрастты жақсарту функцияларын және XOR функцияларын модельдеуге қабілетті желілерді ұсынатын мақалалар сериясын жариялады.
Шығармалар 1972 және 1973 жылдары жарық көрді. Дегенмен, жиі назардан тыс қалған Мински/Қағаз мәтіні нейрондық желі перцептронына қызығушылық пен зерттеуді қаржыландырудың айтарлықтай төмендеуіне әкелді. 1980 жылдары нейрондық желіні зерттеу қайта жанданғанға дейін тағы он жыл өтті.
Мүмкіндіктер
Перцептрон ядросының алгоритмін 1964 жылы Йзерман және т.б. Мори мен Ростамизаде (2013), олар алдыңғы нәтижелерді ұзартып, жаңа L1 шегін береді.
Перцептрон – биологиялық нейронның жеңілдетілген моделі. Нейрондық мінез-құлықты толық түсіну үшін биологиялық нейрондық модельдердің күрделілігі жиі талап етілсе де, зерттеулер перцептрон тәрізді сызықтық модель нақты нейрондарда байқалатын кейбір мінез-құлықтарды тудыруы мүмкін екенін көрсетеді.
Перцептрон - сызықтық жіктеуіш, сондықтан D жаттығу жиыны сызықты түрде бөлінбейтін болса, ол ешқашан барлық кіріс векторлары дұрыс жіктелген күйге түспейді, яғни. егер оң мысалдарды теріс мысалдардан гипержазықтық арқылы бөлу мүмкін болмаса. Бұл жағдайда стандартты оқыту алгоритмі арқылы бірде-бір «шамамен» шешім кезең-кезеңімен өтпейді, оның орнына оқыту толығымен сәтсіздікке ұшырайды. Сондықтан, егер жаттығу жиынының сызықтық бөліну мүмкіндігі априори белгілі болмаса, төмендегі жаттығу опцияларының бірін пайдалану керек.
Қалта алгоритмі
Ратчет қалта алгоритмі осы уақытқа дейін табылған ең жақсы шешімді "қалтада" сақтау арқылы перцептронды үйренудің беріктігі мәселесін шешеді. Содан кейін қалта алгоритмі соңғы шешімнен гөрі қалтадағы шешімді қайтарады. Ол сондай-ақ бөлінбейтін деректер жиындары үшін пайдаланылуы мүмкін, мұнда мақсаты бірнеше қате жіктелуі бар перцептронды табу. Дегенмен, бұл шешімдер стохастикалық болып көрінеді, сондықтан қалта алгоритмі оларға сәйкес келмейді.оқыту барысында бірте-бірте және олардың белгілі бір оқу қадамдары санында анықталуына кепілдік берілмейді.
Максоворалгоритмі
Максовердің алгоритмі деректер жиынының сызықтық бөлінуі туралы білімге қарамастан жақындайтын мағынада «мықты». Сызықтық бөліну жағдайында, бұл оптималды тұрақтылықпен де (сыныптар арасындағы максималды маржа) таңдау бойынша оқу мәселесін шешеді. Бөлінбейтін деректер жиындары үшін қате жіктеулер саны аз шешім қайтарылады. Барлық жағдайларда алгоритм оқу үрдісінде алдыңғы күйлерді есте сақтамай және кездейсоқ секірулерсіз шешімге бірте-бірте жақындайды. Конвергенция ортақ деректер жиындары үшін жаһандық оңтайлылықта және бөлінбейтін деректер жиындары үшін жергілікті оңтайлылықта жатыр.
Дауыс берілген перцептрон
Дауыс берілген перцептрон алгоритмі бірнеше салмақты перцептрондарды пайдаланатын нұсқа болып табылады. Алгоритм мысал қате жіктелген сайын жаңа перцептронды бастайды, салмақ векторын соңғы перцептронның соңғы салмақтарымен инициализациялайды. Әрбір перцептронға қате жіктемес бұрын қанша мысал дұрыс жіктелгеніне сәйкес әртүрлі салмақ беріледі және қорытындыда бүкіл қабылдаушы бойынша салмақты дауыс беріледі.
Қолданба
Бөлінетін есептердегі перцептронды оқыту сыныптар арасындағы ең үлкен бөлу шекарасын табуға да бағытталуы мүмкін. деп аталатынОңтайлы тұрақтылық перцептронын Min-Over немесе AdaTron алгоритмі сияқты итеративті оқыту және оңтайландыру схемалары арқылы анықтауға болады. AdaTron сәйкес квадраттық оңтайландыру мәселесінің дөңес екендігін пайдаланады. Оңтайлы тұрақтылық перцептрон ядро трюкімен бірге тірек векторлық машинасының тұжырымдамалық негізі болып табылады.
Балама
Сызықтық емес есептерді бірнеше қабаттарды қолданбай шешудің тағы бір жолы - жоғары ретті желілерді пайдалану (сигма-пи блогы). Желінің бұл түрінде кіріс векторының әрбір элементі көбейтілген кірістердің (екінші ретті) әрбір жұптық комбинациясы арқылы кеңейтіледі. Бұл n-реттік желіге дейін кеңейтілуі мүмкін. Перцептрон - өте икемді нәрсе.
Алайда, ең жақсы классификатор барлық жаттығу деректерін дәл жіктейтін жіктеуіш емес екенін есте сақтаңыз. Шынында да, егер бізде деректердің тең нұсқалы Гаусс үлестірімінен келетініне алдын ала шектеу қойылса, кіріс кеңістігіндегі сызықтық бөлу оңтайлы болады, ал сызықтық емес шешім жойылады.
Басқа сызықтық жіктеу алгоритмдеріне Winnow, қолдау векторы және логистикалық регрессия кіреді. Перцептрон – әмбебап алгоритмдер жинағы.
Бақыланатын оқытудың негізгі көлемі
Бақыланатын оқыту – кірісті шығысқа салыстыратын функцияны үйренетін машиналық оқыту тапсырмасыенгізу/шығару жұптарының мысалдарына негізделген. Олар мысалдар жиынынан тұратын таңбаланған оқу деректерінен мүмкіндікті шығарады. Бақыланатын оқытуда әрбір мысал кіріс нысанынан (әдетте вектор) және қажетті шығыс мәнінен (басқару сигналы деп те аталады) тұратын жұп болып табылады.
Бақыланатын оқыту алгоритмі жаттығу деректерін талдайды және жаңа мысалдарды көрсету үшін пайдалануға болатын болжалды функцияны шығарады. Оңтайлы сценарий алгоритмге көрінбейтін даналар үшін сынып белгілерін дұрыс анықтауға мүмкіндік береді. Бұл оқыту алгоритмінен оқу деректерін "ақылға қонымды" түрде көрінбейтін жағдайларға жалпылауды талап етеді.
Адам мен жануарлар психологиясындағы параллель тапсырманы көбінесе концептуалды оқыту деп атайды.
