archivee

Π€ΡƒΠ½Π΄Π°ΠΌΠ΅Π½Ρ‚Ρ‹ функционирования Π½Π΅ΠΉΡ€ΠΎΠ½Π½Ρ‹Ρ… сСтСй

Π€ΡƒΠ½Π΄Π°ΠΌΠ΅Π½Ρ‚Ρ‹ функционирования Π½Π΅ΠΉΡ€ΠΎΠ½Π½Ρ‹Ρ… сСтСй НСйронныС сСти ΡΠΎΡΡ‚Π°Π²Π»ΡΡŽΡ‚ собой матСматичСскиС ΠΌΠΎΠ΄Π΅Π»ΠΈ, ΠΊΠΎΠΏΠΈΡ€ΡƒΡŽΡ‰ΠΈΠ΅ Π΄Π΅ΡΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΡŒ СстСствСнного ΠΌΠΎΠ·Π³Π°. Π‘ΠΎΠ·Π΄Π°Π½Π½Ρ‹Π΅ Π½Π΅ΠΉΡ€ΠΎΠ½Ρ‹ ΡΠΎΠ΅Π΄ΠΈΠ½ΡΡŽΡ‚ΡΡ Π² слои ΠΈ ΠΎΠ±Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°ΡŽΡ‚ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡŽ ΠΏΠΎΡΠ»Π΅Π΄ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎ. ΠšΠ°ΠΆΠ΄Ρ‹ΠΉ Π½Π΅ΠΉΡ€ΠΎΠ½ ΠΏΠΎΠ»ΡƒΡ‡Π°Π΅Ρ‚ Π½Π°Ρ‡Π°Π»ΡŒΠ½Ρ‹Π΅ свСдСния, примСняСт ΠΊ Π½ΠΈΠΌ числСнныС трансформации ΠΈ транслируСт ΠΈΡ‚ΠΎΠ³ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰Π΅ΠΌΡƒ слою. ΠŸΡ€ΠΈΠ½Ρ†ΠΈΠΏ Ρ€Π°Π±ΠΎΡ‚Ρ‹ Π’ΡƒΠ»ΠΊΠ°Π½ ΠΎΠ½Π»Π°ΠΉΠ½ основан Π½Π° ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠΈ Ρ‡Π΅Ρ€Π΅Π· ΠΏΡ€ΠΈΠΌΠ΅Ρ€Ρ‹. Π‘Π΅Ρ‚ΡŒ ΠΈΠ·ΡƒΡ‡Π°Π΅Ρ‚ ΠΊΡ€ΡƒΠΏΠ½Ρ‹Π΅ количСства Π΄Π°Π½Π½Ρ‹Ρ… ΠΈ ΠΎΠ±Π½Π°Ρ€ΡƒΠΆΠΈΠ²Π°Π΅Ρ‚ закономСрности. Π’ Ρ‚Π΅Ρ‡Π΅Π½ΠΈΠΈ обучСния модСль измСняСт Π²Π½ΡƒΡ‚Ρ€Π΅Π½Π½ΠΈΠ΅ ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€Ρ‹, минимизируя нСточности ΠΏΡ€ΠΎΠ³Π½ΠΎΠ·ΠΎΠ². Π§Π΅ΠΌ большС ΠΏΡ€ΠΈΠΌΠ΅Ρ€ΠΎΠ² Π°Π½Π°Π»ΠΈΠ·ΠΈΡ€ΡƒΠ΅Ρ‚ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌ, Ρ‚Π΅ΠΌ Π²Π΅Ρ€Π½Π΅Π΅ становятся Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Ρ‹. Π‘ΠΎΠ²Ρ€Π΅ΠΌΠ΅Π½Π½Ρ‹Π΅ нСйросСти ΡΠΏΡ€Π°Π²Π»ΡΡŽΡ‚ΡΡ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΡ‹ классификации, рСгрСссии ΠΈ Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»Π°. ВСхнология примСняСтся Π² клиничСской диагностикС, финансовом исслСдовании, бСспилотном ΠΏΠ΅Ρ€Π΅ΠΌΠ΅Ρ‰Π΅Π½ΠΈΠΈ. Π“Π»ΡƒΠ±ΠΎΠΊΠΎΠ΅ ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ Π΄Π°Ρ‘Ρ‚ Ρ„ΠΎΡ€ΠΌΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΠΌΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌΡ‹ распознавания Ρ€Π΅Ρ‡ΠΈ ΠΈ ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ с высокой Π΄ΠΎΡΡ‚ΠΎΠ²Π΅Ρ€Π½ΠΎΡΡ‚ΡŒΡŽ. НСйронныС сСти: Ρ‡Ρ‚ΠΎ это ΠΈ Π·Π°Ρ‡Π΅ΠΌ ΠΎΠ½ΠΈ вострСбованы НСйронная ΡΠ΅Ρ‚ΡŒ складываСтся ΠΈΠ· соСдинённых Π²Ρ‹Ρ‡ΠΈΡΠ»ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Ρ… ΡƒΠ·Π»ΠΎΠ², ΠΈΠΌΠ΅Π½ΡƒΠ΅ΠΌΡ‹Ρ… Π½Π΅ΠΉΡ€ΠΎΠ½Π°ΠΌΠΈ. Π­Ρ‚ΠΈ ΡƒΠ·Π»Ρ‹ сформированы Π² ΠΊΠΎΠ½Ρ„ΠΈΠ³ΡƒΡ€Π°Ρ†ΠΈΡŽ, ΠΏΠΎΠ΄ΠΎΠ±Π½ΡƒΡŽ Π½Π΅Ρ€Π²Π½ΡƒΡŽ систСму биологичСских ΠΎΡ€Π³Π°Π½ΠΈΠ·ΠΌΠΎΠ². ΠšΠ°ΠΆΠ΄Ρ‹ΠΉ созданный Π½Π΅ΠΉΡ€ΠΎΠ½ ΠΏΠΎΠ»ΡƒΡ‡Π°Π΅Ρ‚ сигналы, ΠΏΠ΅Ρ€Π΅Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°Π΅Ρ‚ ΠΈΡ… ΠΈ транслируСт Π΄Π°Π»Π΅Π΅. Π¦Π΅Π½Ρ‚Ρ€Π°Π»ΡŒΠ½ΠΎΠ΅ достоинство Ρ‚Π΅Ρ…Π½ΠΎΠ»ΠΎΠ³ΠΈΠΈ состоит Π² возмоТности ΠΎΠΏΡ€Π΅Π΄Π΅Π»ΡΡ‚ΡŒ нСпростыС зависимости Π² свСдСниях. ΠšΠ»Π°ΡΡΠΈΡ‡Π΅ΡΠΊΠΈΠ΅ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹ Π½ΡƒΠΆΠ΄Π°ΡŽΡ‚ΡΡ ΠΎΡ‚ΠΊΡ€Ρ‹Ρ‚ΠΎΠ³ΠΎ написания инструкций, Ρ‚ΠΎΠ³Π΄Π° ΠΊΠ°ΠΊ Π²ΡƒΠ»ΠΊΠ°Π½ ΠΊΠ°Π·ΠΈΠ½ΠΎ Π°Π²Ρ‚ΠΎΠ½ΠΎΠΌΠ½ΠΎ ΠΎΠΏΡ€Π΅Π΄Π΅Π»ΡΡŽΡ‚ зависимости. ΠŸΡ€Π°ΠΊΡ‚ΠΈΡ‡Π΅ΡΠΊΠΎΠ΅ ΠΏΡ€ΠΈΠΌΠ΅Π½Π΅Π½ΠΈΠ΅ ΠΎΡ…Π²Π°Ρ‚Ρ‹Π²Π°Π΅Ρ‚ мноТСство Π½Π°ΠΏΡ€Π°Π²Π»Π΅Π½ΠΈΠΉ. Π‘Π°Π½ΠΊΠΈ находят ΠΏΠΎΠ΄Π΄Π΅Π»ΡŒΠ½Ρ‹Π΅ манипуляции. ΠšΠ»ΠΈΠ½ΠΈΡ‡Π΅ΡΠΊΠΈΠ΅ завСдСния ΠΎΠ±Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°ΡŽΡ‚ ΠΊΠ°Π΄Ρ€Ρ‹ для установки Π²Ρ‹Π²ΠΎΠ΄ΠΎΠ². Π˜Π½Π΄ΡƒΡΡ‚Ρ€ΠΈΠ°Π»ΡŒΠ½Ρ‹Π΅ ΠΎΡ€Π³Π°Π½ΠΈΠ·Π°Ρ†ΠΈΠΈ ΡΠΎΠ²Π΅Ρ€ΡˆΠ΅Π½ΡΡ‚Π²ΡƒΡŽΡ‚ ΠΌΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌΡ‹ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ ΠΏΡ€ΠΎΠ³Π½ΠΎΠ·Π½ΠΎΠΉ ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ. Магазинная торговля пСрсонализируСт ΠΎΡ„Ρ„Π΅Ρ€Ρ‹ потрСбитСлям. ВСхнология Ρ€Π΅ΡˆΠ°Π΅Ρ‚ вопросы, Π½Π΅Π²Ρ‹ΠΏΠΎΠ»Π½ΠΈΠΌΡ‹Π΅ классичСским ΠΌΠ΅Ρ‚ΠΎΠ΄Π°ΠΌ. Π˜Π΄Π΅Π½Ρ‚ΠΈΡ„ΠΈΠΊΠ°Ρ†ΠΈΡ написанного содСрТимого, автоматичСский ΠΏΠ΅Ρ€Π΅Π²ΠΎΠ΄, прСдсказаниС хронологичСских ΠΏΠΎΡΠ»Π΅Π΄ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚Π΅ΠΉ ΠΏΡ€ΠΎΠ΄ΡƒΠΊΡ‚ΠΈΠ²Π½ΠΎ Ρ€Π΅Π°Π»ΠΈΠ·ΡƒΡŽΡ‚ΡΡ нСйросСтСвыми Π°Ρ€Ρ…ΠΈΡ‚Π΅ΠΊΡ‚ΡƒΡ€Π°ΠΌΠΈ. Π˜ΡΠΊΡƒΡΡΡ‚Π²Π΅Π½Π½Ρ‹ΠΉ Π½Π΅ΠΉΡ€ΠΎΠ½: Π°Ρ€Ρ…ΠΈΡ‚Π΅ΠΊΡ‚ΡƒΡ€Π°, Π²Ρ…ΠΎΠ΄Ρ‹, ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€Ρ‹ ΠΈ активация Π˜ΡΠΊΡƒΡΡΡ‚Π²Π΅Π½Π½Ρ‹ΠΉ Π½Π΅ΠΉΡ€ΠΎΠ½ являСтся Π±Π°Π·ΠΎΠ²Ρ‹ΠΌ Π±Π»ΠΎΠΊΠΎΠΌ Π½Π΅ΠΉΡ€ΠΎΠ½Π½ΠΎΠΉ сСти. Π‘Π»ΠΎΠΊ ΠΏΠΎΠ»ΡƒΡ‡Π°Π΅Ρ‚ нСсколько исходных Π²Π΅Π»ΠΈΡ‡ΠΈΠ½, ΠΊΠ°ΠΆΠ΄ΠΎΠ΅ ΠΈΠ· ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… умноТаСтся Π½Π° ΡΠΎΠΎΡ‚Π²Π΅Ρ‚ΡΡ‚Π²ΡƒΡŽΡ‰ΠΈΠΉ вСсовой коэффициСнт. ВСса Ρ„ΠΈΠΊΡΠΈΡ€ΡƒΡŽΡ‚ Π·Π½Π°Ρ‡ΠΈΠΌΠΎΡΡ‚ΡŒ ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ Π²Ρ…ΠΎΠ΄Π½ΠΎΠ³ΠΎ Π²Ρ…ΠΎΠ΄Π°. ПослС пСрСмноТСния всС числа ΡΡƒΠΌΠΌΠΈΡ€ΡƒΡŽΡ‚ΡΡ. К Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚ΠΈΡ€ΡƒΡŽΡ‰Π΅ΠΉ суммС прибавляСтся Π²Π΅Π»ΠΈΡ‡ΠΈΠ½Π° смСщСния, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ обСспСчиваСт Π½Π΅ΠΉΡ€ΠΎΠ½Ρƒ ΡΡ€Π°Π±Π°Ρ‚Ρ‹Π²Π°Ρ‚ΡŒ ΠΏΡ€ΠΈ пустых Π΄Π°Π½Π½Ρ‹Ρ…. Bias Ρ€Π°ΡΡˆΠΈΡ€ΡΠ΅Ρ‚ ΠΏΠ»Π°ΡΡ‚ΠΈΡ‡Π½ΠΎΡΡ‚ΡŒ обучСния. Π’Ρ‹Ρ…ΠΎΠ΄ суммирования пСрСдаётся Π² Ρ„ΡƒΠ½ΠΊΡ†ΠΈΡŽ Π°ΠΊΡ‚ΠΈΠ²Π°Ρ†ΠΈΠΈ. Π­Ρ‚Π° ΠΏΡ€ΠΎΡ†Π΅Π΄ΡƒΡ€Π° ΠΊΠΎΠ½Π²Π΅Ρ€Ρ‚ΠΈΡ€ΡƒΠ΅Ρ‚ ΠΏΡ€ΡΠΌΡƒΡŽ сочСтаниС Π² Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚ΠΈΡ€ΡƒΡŽΡ‰ΠΈΠΉ ΠΈΠΌΠΏΡƒΠ»ΡŒΡ. Ѐункция Π°ΠΊΡ‚ΠΈΠ²Π°Ρ†ΠΈΠΈ добавляСт Π½Π΅Π»ΠΈΠ½Π΅ΠΉΠ½ΠΎΡΡ‚ΡŒ Π² расчёты, Ρ‡Ρ‚ΠΎ критичСски Π·Π½Π°Ρ‡ΠΈΠΌΠΎ для выполнСния нСпростых вопросов. Π‘Π΅Π· Π½Π΅Π»ΠΈΠ½Π΅ΠΉΠ½ΠΎΠΉ ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΠΈ ΠΊΠ°Π·ΠΈΠ½ΠΎ ΠΎΠ½Π»Π°ΠΉΠ½ Π½Π΅ сумСла Π±Ρ‹ ΠΌΠΎΠ΄Π΅Π»ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Π·Π°ΠΏΡƒΡ‚Π°Π½Π½Ρ‹Π΅ закономСрности. ВСса Π½Π΅ΠΉΡ€ΠΎΠ½Π° ΠΌΠΎΠ΄ΠΈΡ„ΠΈΡ†ΠΈΡ€ΡƒΡŽΡ‚ΡΡ Π² Ρ…ΠΎΠ΄Π΅ обучСния. ΠœΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌ ΠΊΠΎΡ€Ρ€Π΅ΠΊΡ‚ΠΈΡ€ΡƒΠ΅Ρ‚ вСсовыС ΠΌΠ½ΠΎΠΆΠΈΡ‚Π΅Π»ΠΈ, минимизируя Ρ€Π°Π·Π½ΠΈΡ†Ρƒ ΠΌΠ΅ΠΆΠ΄Ρƒ ΠΎΡ†Π΅Π½ΠΊΠ°ΠΌΠΈ ΠΈ фактичСскими Π²Π΅Π»ΠΈΡ‡ΠΈΠ½Π°ΠΌΠΈ. ΠšΠΎΡ€Ρ€Π΅ΠΊΡ‚Π½Π°Ρ подстройка коэффициСнтов опрСдСляСт Ρ‚ΠΎΡ‡Π½ΠΎΡΡ‚ΡŒ Ρ€Π°Π±ΠΎΡ‚Ρ‹ систСмы. АрхитСктура Π½Π΅ΠΉΡ€ΠΎΠ½Π½ΠΎΠΉ сСти: слои, соСдинСния ΠΈ Ρ‚ΠΈΠΏΡ‹ ΠΊΠΎΠ½Ρ„ΠΈΠ³ΡƒΡ€Π°Ρ†ΠΈΠΉ Устройство Π½Π΅ΠΉΡ€ΠΎΠ½Π½ΠΎΠΉ сСти Π·Π°Π΄Π°Ρ‘Ρ‚ ΠΏΡ€ΠΈΠ½Ρ†ΠΈΠΏ структурирования Π½Π΅ΠΉΡ€ΠΎΠ½ΠΎΠ² ΠΈ соСдинСний ΠΌΠ΅ΠΆΠ΄Ρƒ Π½ΠΈΠΌΠΈ. АрхитСктура строится ΠΈΠ· мноТСства слоёв. Π˜ΡΡ…ΠΎΠ΄Π½Ρ‹ΠΉ слой ΠΏΡ€ΠΈΠ½ΠΈΠΌΠ°Π΅Ρ‚ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡŽ, Π²Π½ΡƒΡ‚Ρ€Π΅Π½Π½ΠΈΠ΅ слои ΠΎΠ±Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°ΡŽΡ‚ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡŽ, Ρ„ΠΈΠ½Π°Π»ΡŒΠ½Ρ‹ΠΉ слой ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚ ΠΎΡ‚Π²Π΅Ρ‚. БоСдинСния ΠΌΠ΅ΠΆΠ΄Ρƒ Π½Π΅ΠΉΡ€ΠΎΠ½Π°ΠΌΠΈ пСрСносят Π΄Π°Π½Π½Ρ‹Π΅ ΠΎΡ‚ слоя ΠΊ слою. КаТдая соСдинСниС описываСтся вСсовым ΠΏΠΎΠΊΠ°Π·Π°Ρ‚Π΅Π»Π΅ΠΌ, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ измСняСтся Π²ΠΎ врСмя обучСния. ΠŸΠ»ΠΎΡ‚Π½ΠΎΡΡ‚ΡŒ связСй сказываСтся Π½Π° Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΠΈΡ‡Π΅ΡΠΊΡƒΡŽ ΡΠ»ΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ ΠΌΠΎΠ΄Π΅Π»ΠΈ. ΠŸΡ€ΠΈΡΡƒΡ‚ΡΡ‚Π²ΡƒΡŽΡ‚ ΠΌΠ½ΠΎΠ³ΠΎΠΎΠ±Ρ€Π°Π·Π½Ρ‹Π΅ ΠΊΠ°Ρ‚Π΅Π³ΠΎΡ€ΠΈΠΈ Ρ‚ΠΎΠΏΠΎΠ»ΠΎΠ³ΠΈΠΉ: ΠŸΡ€ΡΠΌΠΎΠ³ΠΎ двиТСния — сигналы ΠΈΠ΄Ρ‘Ρ‚ ΠΎΡ‚ Π²Ρ…ΠΎΠ΄Π° ΠΊ Ρ„ΠΈΠ½ΠΈΡˆΡƒ Π Π΅ΠΊΡƒΡ€Ρ€Π΅Π½Ρ‚Π½Ρ‹Π΅ — Π²ΠΊΠ»ΡŽΡ‡Π°ΡŽΡ‚ ΠΏΠ΅Ρ‚Π»Π΅Π²Ρ‹Π΅ соСдинСния для ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ рядов Π‘Π²Ρ‘Ρ€Ρ‚ΠΎΡ‡Π½Ρ‹Π΅ — Ρ„ΠΎΠΊΡƒΡΠΈΡ€ΡƒΡŽΡ‚ΡΡ Π½Π° Π°Π½Π°Π»ΠΈΠ·Π΅ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΎΠΊ Радиально-базисныС — ΡΠΊΡΠΏΠ»ΡƒΠ°Ρ‚ΠΈΡ€ΡƒΡŽΡ‚ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ удалённости для раздСлСния ΠžΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½ΠΈΠ΅ структуры обусловлСн ΠΎΡ‚ поставлСнной Ρ†Π΅Π»ΠΈ. ΠšΠΎΠ»ΠΈΡ‡Π΅ΡΡ‚Π²ΠΎ сСти опрСдСляСт ΡΠΏΠΎΡΠΎΠ±Π½ΠΎΡΡ‚ΡŒ ΠΊ Π²Ρ‹Π΄Π΅Π»Π΅Π½ΠΈΡŽ высокоуровнСвых особСнностСй. ΠŸΡ€Π°Π²ΠΈΠ»ΡŒΠ½Π°Ρ настройка ΠΊΠ°Π·ΠΈΠ½ΠΎ Π²ΡƒΠ»ΠΊΠ°Π½ обСспСчиваСт ΠΎΠΏΡ‚ΠΈΠΌΠ°Π»ΡŒΠ½ΠΎΠ΅ баланс вСрности ΠΈ ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ. Π€ΡƒΠ½ΠΊΡ†ΠΈΠΈ Π°ΠΊΡ‚ΠΈΠ²Π°Ρ†ΠΈΠΈ: Π·Π°Ρ‡Π΅ΠΌ ΠΎΠ½ΠΈ Π½ΡƒΠΆΠ½Ρ‹ ΠΈ Ρ‡Π΅ΠΌ Ρ€Π°Π·Π»ΠΈΡ‡Π°ΡŽΡ‚ΡΡ Π€ΡƒΠ½ΠΊΡ†ΠΈΠΈ Π°ΠΊΡ‚ΠΈΠ²Π°Ρ†ΠΈΠΈ Ρ‚Ρ€Π°Π½ΡΡ„ΠΎΡ€ΠΌΠΈΡ€ΡƒΡŽΡ‚ Π²Π·Π²Π΅ΡˆΠ΅Π½Π½ΡƒΡŽ ΠΈΡ‚ΠΎΠ³ сигналов Π½Π΅ΠΉΡ€ΠΎΠ½Π° Π² Π²Ρ‹Ρ…ΠΎΠ΄Π½ΠΎΠΉ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚. Π‘Π΅Π· этих ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΠΉ нСйронная ΡΠ΅Ρ‚ΡŒ составляла Π±Ρ‹ Ρ†Π΅ΠΏΠΎΡ‡ΠΊΡƒ Π»ΠΈΠ½Π΅ΠΉΠ½Ρ‹Ρ… вычислСний. Π›ΡŽΠ±Π°Ρ сочСтаниС прямых ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΠΉ являСтся прямой, Ρ‡Ρ‚ΠΎ ΠΎΠ³Ρ€Π°Π½ΠΈΡ‡ΠΈΠ²Π°Π΅Ρ‚ ΠΏΠΎΡ‚Π΅Π½Ρ†ΠΈΠ°Π» Π°Ρ€Ρ…ΠΈΡ‚Π΅ΠΊΡ‚ΡƒΡ€Ρ‹. НСпрямыС прСобразования Π°ΠΊΡ‚ΠΈΠ²Π°Ρ†ΠΈΠΈ ΠΎΠ±Π΅ΡΠΏΠ΅Ρ‡ΠΈΠ²Π°ΡŽΡ‚ ΠΏΡ€ΠΈΠ±Π»ΠΈΠΆΠ°Ρ‚ΡŒ комплСксныС зависимости. Π‘ΠΈΠ³ΠΌΠΎΠΈΠ΄Π° сТимаСт ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€Ρ‹ Π² Π΄ΠΈΠ°ΠΏΠ°Π·ΠΎΠ½ ΠΎΡ‚ нуля Π΄ΠΎ Π΅Π΄ΠΈΠ½ΠΈΡ†Ρ‹ для Π΄Π²ΠΎΠΈΡ‡Π½ΠΎΠΉ ΠΊΠ°Ρ‚Π΅Π³ΠΎΡ€ΠΈΠ·Π°Ρ†ΠΈΠΈ. ГипСрболичСский тангСнс Π³Π΅Π½Π΅Ρ€ΠΈΡ€ΡƒΠ΅Ρ‚ Π²Π΅Π»ΠΈΡ‡ΠΈΠ½Ρ‹ ΠΎΡ‚ минус Π΅Π΄ΠΈΠ½ΠΈΡ†Ρ‹ Π΄ΠΎ плюс Π΅Π΄ΠΈΠ½ΠΈΡ†Ρ‹. Ѐункция ReLU зануляСт ΠΎΡ‚Ρ€ΠΈΡ†Π°Ρ‚Π΅Π»ΡŒΠ½Ρ‹Π΅ значСния ΠΈ ΡƒΠ΄Π΅Ρ€ΠΆΠΈΠ²Π°Π΅Ρ‚ ΠΏΠΎΠ·ΠΈΡ‚ΠΈΠ²Π½Ρ‹Π΅ Π±Π΅Π· ΠΊΠΎΡ€Ρ€Π΅ΠΊΡ‚ΠΈΡ€ΠΎΠ²ΠΎΠΊ. ΠŸΡ€ΠΎΡΡ‚ΠΎΡ‚Π° вычислСний ΠΏΡ€Π΅Π²Ρ€Π°Ρ‰Π°Π΅Ρ‚ ReLU популярным Π²Ρ‹Π±ΠΎΡ€ΠΎΠΌ для многослойных сСтСй. Π’Π°Ρ€ΠΈΠ°Ρ†ΠΈΠΈ Leaky ReLU ΠΈ ELU ΡΠΏΡ€Π°Π²Π»ΡΡŽΡ‚ΡΡ Π·Π°Π΄Π°Ρ‡Ρƒ ΡƒΠΌΠ΅Π½ΡŒΡˆΠ°ΡŽΡ‰Π΅Π³ΠΎΡΡ Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π°. Softmax примСняСтся Π² ΠΈΡ‚ΠΎΠ³ΠΎΠ²ΠΎΠΌ слоС для многоклассовой классификации. Ѐункция трансформируСт массив Π·Π½Π°Ρ‡Π΅Π½ΠΈΠΉ Π² распрСдСлСниС вСроятностСй. Π’Ρ‹Π±ΠΎΡ€ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ Π°ΠΊΡ‚ΠΈΠ²Π°Ρ†ΠΈΠΈ влияСт Π½Π° Ρ‚Π΅ΠΌΠΏ обучСния ΠΈ качСство Π΄Π΅ΡΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ Π²ΡƒΠ»ΠΊΠ°Π½ ΠΊΠ°Π·ΠΈΠ½ΠΎ. ΠžΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ с ΡƒΡ‡ΠΈΡ‚Π΅Π»Π΅ΠΌ: ΠΎΡ‚ΠΊΠ»ΠΎΠ½Π΅Π½ΠΈΠ΅, Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚ ΠΈ Π²ΠΎΠ·Π²Ρ€Π°Ρ‚Π½ΠΎΠ΅ ΠΏΡ€ΠΎΡ…ΠΎΠΆΠ΄Π΅Π½ΠΈΠ΅ ΠžΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ с ΡƒΡ‡ΠΈΡ‚Π΅Π»Π΅ΠΌ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ Π°Π½Π½ΠΎΡ‚ΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹Π΅ Π΄Π°Π½Π½Ρ‹Π΅, Π³Π΄Π΅ ΠΊΠ°ΠΆΠ΄ΠΎΠΌΡƒ элСмСнту сопоставляСтся ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½Ρ‹ΠΉ Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅. МодСль Π΄Π΅Π»Π°Π΅Ρ‚ Π²Ρ‹Π²ΠΎΠ΄, ΠΏΠΎΡ‚ΠΎΠΌ модСль рассчитываСт Ρ€Π°Π·Π½ΠΈΡ†Ρƒ ΠΌΠ΅ΠΆΠ΄Ρƒ ΠΏΡ€ΠΎΠ³Π½ΠΎΠ·Π½Ρ‹ΠΌ ΠΈ Π΄Π΅ΠΉΡΡ‚Π²ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹ΠΌ числом. Π­Ρ‚Π° Ρ€Π°Π·Π½ΠΈΡ†Π° имСнуСтся Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠ΅ΠΉ ΠΏΠΎΡ‚Π΅Ρ€ΡŒ. ЦСль обучСния состоит Π² ΡƒΠΌΠ΅Π½ΡŒΡˆΠ΅Π½ΠΈΠΈ отклонСния Ρ‡Π΅Ρ€Π΅Π· настройки ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ². Π“Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚ дСмонстрируСт ΠΏΡƒΡ‚ΡŒ Π½Π°ΠΈΠ²Ρ‹ΡΡˆΠ΅Π³ΠΎ ΠΏΠΎΠ²Ρ‹ΡˆΠ΅Π½ΠΈΡ ΠΌΠ΅Ρ‚Ρ€ΠΈΠΊΠΈ ошибок. ΠŸΡ€ΠΎΡ†Π΅ΡΡ слСдуСт Π² ΠΎΠ±Ρ€Π°Ρ‚Π½ΠΎΠΌ Π²Π΅ΠΊΡ‚ΠΎΡ€Π΅, ΡƒΠΌΠ΅Π½ΡŒΡˆΠ°Ρ ΠΏΠΎΠ³Ρ€Π΅ΡˆΠ½ΠΎΡΡ‚ΡŒ Π½Π° ΠΊΠ°ΠΆΠ΄ΠΎΠΉ шагС. Алгоритм Π²ΠΎΠ·Π²Ρ€Π°Ρ‚Π½ΠΎΠ³ΠΎ прохоТдСния рассчитываСт Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Ρ‹ для всСх коэффициСнтов сСти. ΠŸΡ€ΠΎΡ†Π΅ΡΡ Π½Π°Ρ‡ΠΈΠ½Π°Π΅Ρ‚ с Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚ΠΈΡ€ΡƒΡŽΡ‰Π΅Π³ΠΎ слоя ΠΈ ΠΈΠ΄Ρ‘Ρ‚ ΠΊ Π²Ρ…ΠΎΠ΄Π½ΠΎΠΌΡƒ. На ΠΊΠ°ΠΆΠ΄ΠΎΠΌ слоС вычисляСтся Π²ΠΊΠ»Π°Π΄ ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ вСса Π² ΡΠΎΠ²ΠΎΠΊΡƒΠΏΠ½ΡƒΡŽ ΠΎΡ‚ΠΊΠ»ΠΎΠ½Π΅Π½ΠΈΠ΅. ΠšΠΎΡΡ„Ρ„ΠΈΡ†ΠΈΠ΅Π½Ρ‚ обучСния ΠΊΠΎΠ½Ρ‚Ρ€ΠΎΠ»ΠΈΡ€ΡƒΠ΅Ρ‚ ΠΌΠ°ΡΡˆΡ‚Π°Π± настройки ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ² Π½Π° ΠΊΠ°ΠΆΠ΄ΠΎΠΌ ΠΈΡ‚Π΅Ρ€Π°Ρ†ΠΈΠΈ. Блишком Π·Π½Π°Ρ‡ΠΈΡ‚Π΅Π»ΡŒΠ½Π°Ρ Ρ‚Π΅ΠΌΠΏ Π²Π΅Π΄Ρ‘Ρ‚ ΠΊ нСустойчивости, слишком малая Ρ‚ΠΎΡ€ΠΌΠΎΠ·ΠΈΡ‚ ΡΡ…ΠΎΠ΄ΠΈΠΌΠΎΡΡ‚ΡŒ. ΠžΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ‚ΠΎΡ€Ρ‹ Π²Ρ€ΠΎΠ΄Π΅ Adam ΠΈ RMSprop автоматичСски ΠΈΠ·ΠΌΠ΅Π½ΡΡŽΡ‚ ΡΠΊΠΎΡ€ΠΎΡΡ‚ΡŒ для ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€Π°. ΠŸΡ€Π°Π²ΠΈΠ»ΡŒΠ½Π°Ρ настройка Ρ…ΠΎΠ΄Π° обучСния ΠΊΠ°Π·ΠΈΠ½ΠΎ Π²ΡƒΠ»ΠΊΠ°Π½ опрСдСляСт ΡƒΡ€ΠΎΠ²Π΅Π½ΡŒ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚ΠΈΡ€ΡƒΡŽΡ‰Π΅ΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ. ΠŸΠ΅Ρ€Π΅ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ ΠΈ рСгуляризация: ΠΊΠ°ΠΊ ΠΎΠ±ΠΎΠΉΡ‚ΠΈ “заучивания” свСдСний ΠŸΠ΅Ρ€Π΅ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ образуСтся, ΠΊΠΎΠ³Π΄Π° модСль слишком излишнС настраиваСтся ΠΏΠΎΠ΄ ΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‰ΠΈΠ΅ свСдСния. Алгоритм Π·Π°ΡƒΡ‡ΠΈΠ²Π°Π΅Ρ‚ спСцифичСскиС экзСмпляры вмСсто опрСдСлСния ΠΎΠ±Ρ‰ΠΈΡ… ΠΏΠ°Ρ‚Ρ‚Π΅Ρ€Π½ΠΎΠ². На свСТих ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ такая систСма ΠΈΠΌΠ΅Π΅Ρ‚ Π½ΠΈΠ·ΠΊΡƒΡŽ Π²Π΅Ρ€Π½ΠΎΡΡ‚ΡŒ. РСгуляризация прСдставляСт Π½Π°Π±ΠΎΡ€ ΠΏΡ€ΠΈΡ‘ΠΌΠΎΠ² для ΠΈΡΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΡ пСрСобучСния. L1-рСгуляризация Π²ΠΊΠ»ΡŽΡ‡Π°Π΅Ρ‚ ΠΊ ΠΏΠΎΠΊΠ°Π·Π°Ρ‚Π΅Π»ΡŽ ошибок сумму Π°Π±ΡΠΎΠ»ΡŽΡ‚Π½Ρ‹Ρ… Π·Π½Π°Ρ‡Π΅Π½ΠΈΠΉ ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ². L2-рСгуляризация ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ ΠΈΡ‚ΠΎΠ³ стСпСнСй ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ². Оба способа Π½Π°ΠΊΠ°Π·Ρ‹Π²Π°ΡŽΡ‚ систСму Π·Π° Π·Π½Π°Ρ‡ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Π΅ вСсовыС ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€Ρ‹. Dropout случайным ΠΌΠ΅Ρ‚ΠΎΠ΄ΠΎΠΌ Π²Ρ‹ΠΊΠ»ΡŽΡ‡Π°Π΅Ρ‚ Ρ„Ρ€Π°ΠΊΡ†ΠΈΡŽ Π½Π΅ΠΉΡ€ΠΎΠ½ΠΎΠ² Π²ΠΎ врСмя обучСния. ΠŸΡ€ΠΈΡ‘ΠΌ ΠΏΡ€ΠΈΠ½ΡƒΠΆΠ΄Π°Π΅Ρ‚ систСму Ρ€Π°Π·ΠΌΠ΅Ρ‰Π°Ρ‚ΡŒ знания ΠΌΠ΅ΠΆΠ΄Ρƒ всСми ΡƒΠ·Π»Π°ΠΌΠΈ. КаТдая ΠΏΡ€ΠΎΡ…ΠΎΠ΄ ΠΎΠ±ΡƒΡ‡Π°Π΅Ρ‚ нСсколько Ρ€Π°Π·Π»ΠΈΡ‡Π°ΡŽΡ‰ΡƒΡŽΡΡ ΠΊΠΎΠ½Ρ„ΠΈΠ³ΡƒΡ€Π°Ρ†ΠΈΡŽ, Ρ‡Ρ‚ΠΎ ΡƒΠ»ΡƒΡ‡ΡˆΠ°Π΅Ρ‚ Ρ€ΠΎΠ±Π°ΡΡ‚Π½ΠΎΡΡ‚ΡŒ. Ранняя остановка останавливаСт ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ ΠΏΡ€ΠΈ сниТСнии ΠΈΡ‚ΠΎΠ³ΠΎΠ² Π½Π° Π²Π°Π»ΠΈΠ΄Π°Ρ†ΠΈΠΎΠ½Π½ΠΎΠΉ подмноТСствС. НаращиваниС массива ΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‰ΠΈΡ… свСдСний ΡƒΠΌΠ΅Π½ΡŒΡˆΠ°Π΅Ρ‚ ΠΎΠΏΠ°ΡΠ½ΠΎΡΡ‚ΡŒ пСрСобучСния. Π”ΠΎΠΏΠΎΠ»Π½Π΅Π½ΠΈΠ΅ ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚ Π½ΠΎΠ²Ρ‹Π΅ ΠΏΡ€ΠΈΠΌΠ΅Ρ€Ρ‹ посрСдством ΠΌΠΎΠ΄ΠΈΡ„ΠΈΠΊΠ°Ρ†ΠΈΠΈ Π±Π°Π·ΠΎΠ²Ρ‹Ρ…. КомплСкс ΠΌΠ΅Ρ‚ΠΎΠ΄ΠΎΠ² рСгуляризации создаёт Ρ…ΠΎΡ€ΠΎΡˆΡƒΡŽ ΡƒΠ½ΠΈΠ²Π΅Ρ€ΡΠ°Π»ΠΈΠ·ΠΈΡ€ΡƒΡŽΡ‰ΡƒΡŽ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ ΠΊΠ°Π·ΠΈΠ½ΠΎ ΠΎΠ½Π»Π°ΠΉΠ½. ΠšΠ»ΡŽΡ‡Π΅Π²Ρ‹Π΅ разновидности сСтСй: полносвязныС, свСрточныС, Ρ€Π΅ΠΊΡƒΡ€Ρ€Π΅Π½Ρ‚Π½Ρ‹Π΅ Π Π°Π·Π½Ρ‹Π΅ ΠΊΠΎΠ½Ρ„ΠΈΠ³ΡƒΡ€Π°Ρ†ΠΈΠΈ Π½Π΅ΠΉΡ€ΠΎΠ½Π½Ρ‹Ρ… сСтСй Ρ„ΠΎΠΊΡƒΡΠΈΡ€ΡƒΡŽΡ‚ΡΡ Π½Π° Ρ€Π΅Π°Π»ΠΈΠ·Π°Ρ†ΠΈΠΈ ΠΎΠΏΡ€Π΅Π΄Π΅Π»Ρ‘Π½Π½Ρ‹Ρ… ΠΊΠ°Ρ‚Π΅Π³ΠΎΡ€ΠΈΠΉ вопросов. ΠŸΠΎΠ΄Π±ΠΎΡ€ Ρ‚ΠΈΠΏΠ° сСти обусловлСн ΠΎΡ‚ структуры Π²Ρ…ΠΎΠ΄Π½Ρ‹Ρ… ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ ΠΈ Π½ΡƒΠΆΠ½ΠΎΠ³ΠΎ ΠΈΡ‚ΠΎΠ³Π°. Π‘Π°Π·ΠΎΠ²Ρ‹Π΅ разновидности Π½Π΅ΠΉΡ€ΠΎΠ½Π½Ρ‹Ρ… сСтСй ΠΎΡ…Π²Π°Ρ‚Ρ‹Π²Π°ΡŽΡ‚: ΠŸΠΎΠ»Π½ΠΎΡΠ²ΡΠ·Π½Ρ‹Π΅ сСти — ΠΊΠ°ΠΆΠ΄Ρ‹ΠΉ Π½Π΅ΠΉΡ€ΠΎΠ½ соСдинён со всСми Π½Π΅ΠΉΡ€ΠΎΠ½Π°ΠΌΠΈ ΠΎΡ‡Π΅Ρ€Π΅Π΄Π½ΠΎΠ³ΠΎ слоя, ΡΠΊΡΠΏΠ»ΡƒΠ°Ρ‚ΠΈΡ€ΡƒΡŽΡ‚ΡΡ для структурированных свСдСний Π‘Π²Π΅Ρ€Ρ‚ΠΎΡ‡Π½Ρ‹Π΅ сСти — Π·Π°Π΄Π΅ΠΉΡΡ‚Π²ΡƒΡŽΡ‚ ΠΏΡ€ΠΎΡ†Π΅Π΄ΡƒΡ€Ρ‹ свСртки для Π°Π½Π°Π»ΠΈΠ·Π° ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ, ΡΠ°ΠΌΠΎΡΡ‚ΠΎΡΡ‚Π΅Π»ΡŒΠ½ΠΎ ΠΈΠ·Π²Π»Π΅ΠΊΠ°ΡŽΡ‚ ΠΏΠΎΠ·ΠΈΡ†ΠΈΠΎΠ½Π½Ρ‹Π΅ свойства Π Π΅ΠΊΡƒΡ€Ρ€Π΅Π½Ρ‚Π½Ρ‹Π΅ сСти — содСрТат цикличСскиС связи для ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ ΠΏΠΎΡΠ»Π΅Π΄ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚Π΅ΠΉ, ΡΠΎΡ…Ρ€Π°Π½ΡΡŽΡ‚ свСдСния ΠΎ ΠΏΡ€Π΅Π΄Ρ‹Π΄ΡƒΡ‰ΠΈΡ… Ρ‡Π»Π΅Π½Π°Ρ… Автокодировщики — ΠΊΠΎΠΌΠΏΡ€Π΅ΡΡΠΈΡ€ΡƒΡŽΡ‚ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡŽ Π² сТатоС прСдставлСниС ΠΈ Ρ€Π΅ΠΊΠΎΠ½ΡΡ‚Ρ€ΡƒΠΈΡ€ΡƒΡŽΡ‚ ΠΎΡ€ΠΈΠ³ΠΈΠ½Π°Π»ΡŒΠ½ΡƒΡŽ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡŽ ΠŸΠΎΠ»Π½ΠΎΡΠ²ΡΠ·Π½Ρ‹Π΅ ΠΊΠΎΠ½Ρ„ΠΈΠ³ΡƒΡ€Π°Ρ†ΠΈΠΈ Π½ΡƒΠΆΠ΄Π°ΡŽΡ‚ΡΡ сущСствСнного массы коэффициСнтов. Π‘Π²Ρ‘Ρ€Ρ‚ΠΎΡ‡Π½Ρ‹Π΅ сСти ΡƒΡΠΏΠ΅ΡˆΠ½ΠΎ ΡΠΏΡ€Π°Π²Π»ΡΡŽΡ‚ΡΡ с ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ°ΠΌΠΈ ΠΈΠ·-Π·Π° Ρ€Π°ΡΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½ΠΈΡŽ ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ². Π Π΅ΠΊΡƒΡ€Ρ€Π΅Π½Ρ‚Π½Ρ‹Π΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ Π°Π½Π°Π»ΠΈΠ·ΠΈΡ€ΡƒΡŽΡ‚ Π΄ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚Ρ‹ ΠΈ хронологичСскиС ряды. ВрансформСры Π²Ρ‹Ρ‚Π΅ΡΠ½ΡΡŽΡ‚ Ρ€Π΅ΠΊΡƒΡ€Ρ€Π΅Π½Ρ‚Π½Ρ‹Π΅ ΠΊΠΎΠ½Ρ„ΠΈΠ³ΡƒΡ€Π°Ρ†ΠΈΠΈ Π² вопросах ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ языка. ΠšΠΎΠΌΠ±ΠΈΠ½ΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹Π΅ Ρ‚ΠΎΠΏΠΎΠ»ΠΎΠ³ΠΈΠΈ ΠΊΠΎΠΌΠ±ΠΈΠ½ΠΈΡ€ΡƒΡŽΡ‚ прСимущСства Ρ€Π°Π·Π½Ρ‹Ρ… Π²ΠΈΠ΄ΠΎΠ² ΠΊΠ°Π·ΠΈΠ½ΠΎ Π²ΡƒΠ»ΠΊΠ°Π½. Π”Π°Π½Π½Ρ‹Π΅ для обучСния: ΠΏΠΎΠ΄Π³ΠΎΡ‚ΠΎΠ²ΠΊΠ°, нормализация ΠΈ Ρ€Π°Π·Π΄Π΅Π»Π΅Π½ΠΈΠ΅ Π½Π° Π²Ρ‹Π±ΠΎΡ€ΠΊΠΈ ΠšΠ°Ρ‡Π΅ΡΡ‚Π²ΠΎ свСдСний нСпосрСдствСнно устанавливаСт ΠΏΡ€ΠΎΠ΄ΡƒΠΊΡ‚ΠΈΠ²Π½ΠΎΡΡ‚ΡŒ обучСния Π½Π΅ΠΉΡ€ΠΎΠ½Π½ΠΎΠΉ сСти. ΠŸΡ€Π΅Π΄ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠ° содСрТит устранСниС ΠΎΡ‚ ΠΏΠΎΠ³Ρ€Π΅ΡˆΠ½ΠΎΡΡ‚Π΅ΠΉ, восполнСниС ΠΏΡ€ΠΎΠΏΡƒΡ‰Π΅Π½Π½Ρ‹Ρ… Π²Π΅Π»ΠΈΡ‡ΠΈΠ½ ΠΈ ΠΈΡΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΠ΅ Π΄ΡƒΠ±Π»ΠΈΠΊΠ°Ρ‚ΠΎΠ². ΠžΡˆΠΈΠ±ΠΎΡ‡Π½Ρ‹Π΅ Π΄Π°Π½Π½Ρ‹Π΅ приводят ΠΊ ΠΎΡˆΠΈΠ±ΠΎΡ‡Π½Ρ‹ΠΌ ΠΎΡ†Π΅Π½ΠΊΠ°ΠΌ. Нормализация ΠΏΠ΅Ρ€Π΅Π²ΠΎΠ΄ΠΈΡ‚ ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€Ρ‹ ΠΊ Π΅Π΄ΠΈΠ½ΠΎΠΌΡƒ Ρ€Π°Π·ΠΌΠ΅Ρ€Ρƒ. Π Π°Π·Π»ΠΈΡ‡Π½Ρ‹Π΅ Π΄ΠΈΠ°ΠΏΠ°Π·ΠΎΠ½Ρ‹ ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ² ΠΏΠΎΡ€ΠΎΠΆΠ΄Π°ΡŽΡ‚ дисбаланс ΠΏΡ€ΠΈ ΠΎΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½ΠΈΠΈ Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚ΠΎΠ². Минимаксная нормализация компрСссируСт ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€Ρ‹ Π²