Вызначэнне праблемы ў машынным навучанні (ML) прадугледжвае сістэматычны падыход да фармулявання пастаўленай задачы такім чынам, каб яе можна было вырашыць з дапамогай метадаў ML. Гэты працэс мае вырашальнае значэнне, паколькі ён закладвае аснову для ўсяго канвеера ML, ад збору даных да навучання мадэляў і ацэнкі. У гэтым адказе мы выкладзем алгарытмічныя крокі для вызначэння праблемы ў ML, даючы падрабязнае і поўнае тлумачэнне.
1. Вызначце мэту:
Першы крок - дакладнае вызначэнне мэты праблемы ML. Гэта прадугледжвае разуменне жаданага выніку або прагнозу, які павінна даць мадэль ML. Напрыклад, у задачы класіфікацыі спаму электроннай пошты мэта можа заключацца ў тым, каб дакладна класіфікаваць электронныя лісты як спам ці не як спам.
2. Сфармулюйце задачу:
Калі мэта вызначана, трэба сфармуляваць праблему. Гэта ўключае ў сябе вызначэнне тыпу праблемы ML, якая можа адносіцца да адной з наступных катэгорый:
а. Навучанне пад кантролем: Калі пазначаныя даныя даступныя, праблему можна аформіць як задачу навучання пад кантролем. Гэта прадугледжвае прагназаванне выходнай зменнай з набору ўваходных зменных на аснове навучальнага набору даных. Напрыклад, прагназаванне коштаў на жыллё на аснове такіх характарыстык, як размяшчэнне, памер і колькасць пакояў.
б. Навучанне без кантролю: калі даступныя толькі немаркіраваныя даныя, праблему можна назваць задачай навучання без кантролю. Мэта тут складаецца ў тым, каб выявіць заканамернасці або структуры ў дадзеных без якой-небудзь загадзя вызначанай выходнай зменнай. Алгарытмы кластарызацыі, такія як K-сярэднія, можна выкарыстоўваць для групоўкі падобных кропак даных.
в. Навучанне з падмацаваннем: у навучанні з падмацаваннем агент вучыцца ўзаемадзейнічаць з навакольным асяроддзем, каб максымізаваць сігнал узнагароды. Праблема аформлена ў выглядзе маркаўскага працэсу прыняцця рашэнняў (MDP), дзе агент выконвае дзеянні на аснове бягучага стану і атрымлівае зваротную сувязь у выглядзе ўзнагароджання. Прыклады ўключаюць навучанне агента гульні або кіраванню робатамі.
3. Вызначце ўваход і выхад:
Далей важна вызначыць уваходныя і выходныя зменныя для задачы ML. Гэта прадугледжвае ўказанне функцый або атрыбутаў, якія будуць выкарыстоўвацца ў якасці ўваходных дадзеных для мадэлі ML, і мэтавай зменнай, якую мадэль павінна прагназаваць. Напрыклад, у задачы па аналізе пачуццяў уваходам можа быць тэкставы дакумент, у той час як выхадам з'яўляецца пазнака пачуццяў (станоўчая, адмоўная або нейтральная).
4. Збярыце і папярэдне апрацуйце дадзеныя:
Дадзеныя гуляюць вырашальную ролю ў ML, і вельмі важна сабраць адпаведны набор даных для разгляданай праблемы. Гэта прадугледжвае збор адпаведных даных, якія прадстаўляюць рэальны сцэнарый, у якім будзе разгорнута мадэль. Даныя павінны быць разнастайнымі, рэпрэзентатыўнымі і ахопліваць шырокі спектр магчымых уваходных і выходных дадзеных.
Пасля збору даных неабходна выканаць этапы папярэдняй апрацоўкі, каб ачысціць і пераўтварыць даныя ў прыдатны фармат для алгарытмаў ML. Гэта можа ўключаць у сябе выдаленне дублікатаў, апрацоўку адсутных значэнняў, нармалізацыю функцый і кадаванне катэгарыяльных зменных.
5. Раздзяліце набор даных:
Каб ацаніць прадукцыйнасць мадэлі ML, неабходна падзяліць набор даных на наборы для навучання, праверкі і тэсціравання. Набор для навучання выкарыстоўваецца для навучання мадэлі, набор для праверкі выкарыстоўваецца для налады гіперпараметраў і ацэнкі розных мадэляў, а набор для тэставання выкарыстоўваецца для ацэнкі канчатковай прадукцыйнасці абранай мадэлі. Раздзяленне даных павінна быць зроблена асцярожна, каб забяспечыць рэпрэзентатыўныя выбаркі ў кожным наборы.
6. Выберыце алгарытм ML:
У залежнасці ад пастаноўкі задачы і тыпу даных трэба выбраць адпаведны алгарытм ML. Існуюць розныя алгарытмы, такія як дрэвы рашэнняў, апорныя вектарныя машыны, нейронавыя сеткі і ансамблевыя метады. Выбар алгарытму залежыць ад такіх фактараў, як складанасць задачы, даступныя вылічальныя рэсурсы і патрабаванні да інтэрпрэтацыі.
7. Навучыце і ацаніце мадэль:
Пасля выбару алгарытму мадэль неабходна навучыць з выкарыстаннем навучальнага набору даных. Падчас навучання мадэль вывучае асноўныя заканамернасці і адносіны ў дадзеных. Пасля навучання мадэль ацэньваецца з дапамогай набору праверкі для ацэнкі яе прадукцыйнасці. Для вымярэння прадукцыйнасці мадэлі можна выкарыстоўваць такія паказчыкі, як дакладнасць, дакладнасць, запамінальнасць і F1.
8. Дакладная налада і аптымізацыя:
Зыходзячы з ацэнкі прадукцыйнасці, мадэль можа спатрэбіцца дапрацаваць і аптымізаваць. Гэта прадугледжвае карэкціроўку гіперпараметраў, такіх як хуткасць навучання, рэгулярізацыя або сеткавая архітэктура, каб палепшыць прадукцыйнасць мадэлі. Для пошуку аптымальных гіперпараметраў можна выкарыстоўваць такія метады, як перакрыжаваная праверка і пошук па сетцы.
9. Праверце і разгарніце:
Пасля таго, як мадэль будзе наладжана і аптымізавана, яе неабходна пратэставаць з дапамогай набору тэставых даных, каб атрымаць канчатковую ацэнку прадукцыйнасці. Калі мадэль адпавядае жаданым крытэрам прадукцыйнасці, яе можна разгарнуць у вытворчай асяроддзі, каб рабіць прагнозы на новых, нябачных дадзеных. Можа спатрэбіцца перыядычны маніторынг і абнаўленне мадэлі для забеспячэння яе пастаяннай працы.
Вызначэнне праблемы ў ML прадугледжвае сістэматычны алгарытмічны падыход, які ўключае ідэнтыфікацыю мэты, фармуляванне праблемы, вызначэнне ўваходных і выходных дадзеных, збор і папярэднюю апрацоўку даных, разбіццё набору даных, выбар алгарытму ML, навучанне і ацэнку мадэлі, тонкую наладу і аптымізацыя і, нарэшце, тэставанне і разгортванне мадэлі.
Іншыя апошнія пытанні і адказы адносна EITC/AI/GCML Google Cloud Machine Learning:
- Што такое тэкст у маўленне (TTS) і як ён працуе з AI?
- Якія абмежаванні ёсць у працы з вялікімі наборамі даных у машынным навучанні?
- Ці можа машыннае навучанне аказаць некаторую дапамогу ў дыялогу?
- Што такое гульнявая пляцоўка TensorFlow?
- Што насамрэч азначае большы набор даных?
- Якія прыклады гіперпараметраў алгарытму?
- Што такое ансамблевае навучанне?
- Што рабіць, калі абраны алгарытм машыннага навучання не падыходзіць, і як пераканацца, што выбраны правільны?
- Ці патрэбна мадэль машыннага навучання пад наглядам падчас навучання?
- Якія ключавыя параметры выкарыстоўваюцца ў алгарытмах нейронных сетак?
Больш пытанняў і адказаў глядзіце ў EITC/AI/GCML Google Cloud Machine Learning