Павелічэнне колькасці нейронаў у слоі штучнай нейронавай сеткі сапраўды можа выклікаць большы рызыка запамінання, што патэнцыйна можа прывесці да перападбору. Пераабсталяванне адбываецца, калі мадэль вывучае дэталі і шум у навучальных дадзеных да такой ступені, што гэта негатыўна ўплывае на прадукцыйнасць мадэлі на нябачных дадзеных. Гэта распаўсюджаная праблема ў машынным навучанні, у тым ліку ў нейронавых сетках, і можа істотна знізіць магчымасці абагульнення мадэлі.
Калі нейронавая сетка мае занадта шмат нейронаў на пэўным узроўні, гэта павялічвае здольнасць мадэлі вывучаць складаныя шаблоны, якія прысутнічаюць у навучальных дадзеных. Такая падвышаная ёмістасць можа прывесці да таго, што сетка запамінае навучальныя прыклады замест таго, каб вывучаць асноўныя шаблоны, якія добра абагульняюць нябачныя даныя. Як следства, мадэль можа працаваць выключна добра на навучальных даных, але не можа абагульніць новыя, нябачныя даныя, што прыводзіць да нізкай прадукцыйнасці ў рэальных праграмах.
Каб лепш зразумець гэтую канцэпцыю, разгледзім прыклад, калі нейронавая сетка навучаецца класіфікаваць выявы катоў і сабак. Калі сетка мае залішнюю колькасць нейронаў на пэўным узроўні, яна можа пачаць запамінаць спецыфічныя асаблівасці навучальных малюнкаў, напрыклад, фон або ўмовы асвятлення, замест таго, каб засяроджвацца на адрозненні паміж коткамі і сабакамі. Гэта можа прывесці да пераабсталявання, калі мадэль працуе дрэнна, калі ёй прадстаўляюцца выявы, якіх яна раней не бачыла, бо яна не вывучыла асноўныя асаблівасці, якія адрозніваюць два класы.
Адным з распаўсюджаных падыходаў да зніжэння рызыкі празмернага абсталявання пры павелічэнні колькасці нейронаў у нейронавай сетцы з'яўляюцца метады рэгулярызацыі. Метады рэгулярызацыі, такія як рэгулярізацыя L1 і L2, адсеў і датэрміновае спыненне, выкарыстоўваюцца для прадухілення занадта складанай сеткі і перападбору даных навучання. Гэтыя метады ўводзяць абмежаванні падчас навучальнага працэсу, заахвочваючы мадэль засяроджвацца на вывучэнні асноўных заканамернасцей у дадзеных, а не на запамінанні канкрэтных прыкладаў.
Нягледзячы на тое, што павелічэнне колькасці нейронаў на ўзроўні штучнай нейронавай сеткі можа павялічыць здольнасць мадэлі вывучаць складаныя ўзоры, гэта таксама павялічвае рызыку запамінання і празмернага прыстасавання. Выкарыстанне адпаведных метадаў рэгулярызацыі мае вырашальнае значэнне для дасягнення балансу паміж складанасцю мадэлі і прадукцыйнасцю абагульнення, гарантуючы, што нейронавая сетка можа эфектыўна вучыцца з даных без перападбору.
Іншыя апошнія пытанні і адказы адносна Асновы EITC/AI/TFF TensorFlow:
- Як можна выкарыстоўваць пласт убудавання для аўтаматычнага прызначэння правільных восяў для графіка прадстаўлення слоў у выглядзе вектараў?
- Якая мэта максімальнага аб'яднання ў CNN?
- Як працэс вылучэння прыкмет у сверточной нейронавай сетцы (CNN) прымяняецца да распазнавання малюнкаў?
- Ці неабходна выкарыстоўваць функцыю асінхроннага навучання для мадэляў машыннага навучання, якія працуюць у TensorFlow.js?
- Што такое параметр максімальнай колькасці слоў TensorFlow Keras Tokenizer API?
- Ці можна выкарыстоўваць TensorFlow Keras Tokenizer API для пошуку найбольш частых слоў?
- Што такое TOCO?
- Якая ўзаемасувязь паміж колькасцю эпох у мадэлі машыннага навучання і дакладнасцю прагназавання ад запуску мадэлі?
- Ці стварае API суседніх пакетаў у Neural Structured Learning TensorFlow дапоўнены навучальны набор даных на аснове натуральных графічных даных?
- Што такое API суседніх пакетаў у нейронавым структураваным навучанні TensorFlow?
Глядзіце больш пытанняў і адказаў у EITC/AI/TFF TensorFlow Fundamentals