Вызначэнне таго, ці правільна навучана мадэль машыннага навучання, з'яўляецца найважнейшым аспектам працэсу распрацоўкі мадэлі. У той час як дакладнасць з'яўляецца важнай метрыкай (ці нават ключавой метрыкай) у ацэнцы прадукцыйнасці мадэлі, яна не з'яўляецца адзіным паказчыкам добра падрыхтаванай мадэлі. Дасягненне дакладнасці вышэй за 90% не з'яўляецца універсальным парогам для ўсіх задач машыннага навучання. Дапушчальны ўзровень дакладнасці можа адрознівацца ў залежнасці ад канкрэтнай праблемы, якая вырашаецца.
Дакладнасць - гэта паказчык таго, як часта мадэль робіць правільныя прагнозы з усіх зробленых прагнозаў. Ён разлічваецца як колькасць правільных прагнозаў, падзеленая на агульную колькасць прагнозаў. Аднак адна толькі дакладнасць можа не даць поўнай карціны прадукцыйнасці мадэлі, асабліва ў тых выпадках, калі набор даных незбалансаваны, што азначае, што існуе значная розніца ў колькасці асобнікаў кожнага класа.
У дадатак да дакладнасці для ацэнкі прадукцыйнасці мадэлі машыннага навучання звычайна выкарыстоўваюцца іншыя паказчыкі ацэнкі, такія як дакладнасць, запамінанне і адзнака F1. Дакладнасць вымярае долю сапраўдных станоўчых прагнозаў сярод усіх станоўчых прагнозаў, у той час як запамінанне вылічвае долю сапраўдных станоўчых прагнозаў ад усіх фактычных станоўчых прагнозаў. Ацэнка F1 з'яўляецца гарманічным сярэднім дакладнасцю і запамінаннем і забяспечвае баланс паміж двума паказчыкамі.
Вельмі важна ўлічваць канкрэтныя патрабаванні разгляданай праблемы пры вызначэнні таго, ці правільна падрыхтавана мадэль. Напрыклад, у задачы медыцынскай дыягностыкі дасягненне высокай дакладнасці мае вырашальнае значэнне для забеспячэння дакладных прагнозаў і пазбягання памылковых дыягназаў. З іншага боку, у сцэнары выяўлення махлярства высокая запамінальнасць можа быць больш важнай, каб выявіць як мага больш выпадкаў махлярства, нават за кошт некаторых ілжывых спрацоўванняў.
Акрамя таго, прадукцыйнасць мадэлі варта ацэньваць не толькі на аснове навучальных даных, але і на асобным наборы дадзеных праверкі, каб ацаніць яе магчымасці абагульнення. Пераабсталяванне, калі мадэль добра працуе з навучальнымі данымі, але дрэнна працуе з нябачнымі дадзенымі, можна выявіць з дапамогай паказчыкаў праверкі. Такія метады, як перакрыжаваная праверка, могуць дапамагчы паменшыць празмернае абсталяванне і забяспечыць больш надзейную ацэнку прадукцыйнасці мадэлі.
У той час як дакладнасць з'яўляецца ключавым паказчыкам прадукцыйнасці мадэлі, вельмі важна ўлічваць іншыя паказчыкі, такія як дакладнасць, запамінанне і адзнака F1, а таксама канкрэтныя патрабаванні праблемнай вобласці. Не існуе фіксаванага парога дакладнасці, які прымяняецца ўніверсальна, і ацэнка мадэлі павінна быць комплекснай, з улікам розных паказчыкаў і метадаў праверкі, каб забяспечыць яе эфектыўнасць у рэальных праграмах.
Іншыя апошнія пытанні і адказы адносна EITC/AI/GCML Google Cloud Machine Learning:
- Што такое тэкст у маўленне (TTS) і як ён працуе з AI?
- Якія абмежаванні ёсць у працы з вялікімі наборамі даных у машынным навучанні?
- Ці можа машыннае навучанне аказаць некаторую дапамогу ў дыялогу?
- Што такое гульнявая пляцоўка TensorFlow?
- Што насамрэч азначае большы набор даных?
- Якія прыклады гіперпараметраў алгарытму?
- Што такое ансамблевае навучанне?
- Што рабіць, калі абраны алгарытм машыннага навучання не падыходзіць, і як пераканацца, што выбраны правільны?
- Ці патрэбна мадэль машыннага навучання пад наглядам падчас навучання?
- Якія ключавыя параметры выкарыстоўваюцца ў алгарытмах нейронных сетак?
Больш пытанняў і адказаў глядзіце ў EITC/AI/GCML Google Cloud Machine Learning