TFX, што расшыфроўваецца як TensorFlow Extended, уяўляе сабой комплексную скразную платформу для стварэння гатовых да вытворчасці канвеераў машыннага навучання. Ён забяспечвае набор інструментаў і кампанентаў, якія палягчаюць распрацоўку і разгортванне маштабуемых і надзейных сістэм машыннага навучання. TFX прызначаны для вырашэння праблем, звязаных з кіраваннем і аптымізацыяй канвеераў машыннага навучання, што дазваляе навукоўцам і інжынерам па апрацоўцы дадзеных сканцэнтравацца на стварэнні і ітэрацыі мадэляў, а не мець справу са складанасцямі інфраструктуры і кіравання дадзенымі.
TFX арганізуе канвеер машыннага навучання на некалькі гарызантальных слаёў, кожны з якіх служыць пэўнай мэты ў агульным працоўным працэсе. Гэтыя ўзроўні працуюць разам, каб забяспечыць плаўны паток даных і артэфактаў мадэлі, а таксама эфектыўнае выкананне канвеера. Давайце вывучым розныя ўзроўні ў TFX для кіравання канвеерамі і аптымізацыі:
1. Загрузка дадзеных і праверка:
Гэты ўзровень адказвае за прыём неапрацаваных даных з розных крыніц, такіх як файлы, базы дадзеных або сістэмы струменевай перадачы. TFX забяспечвае такія інструменты, як TensorFlow Data Validation (TFDV), каб выконваць праверку даных і генерацыю статыстыкі. TFDV дапамагае ідэнтыфікаваць анамаліі, адсутныя значэнні і дрэйф даных, забяспечваючы якасць і ўзгодненасць ўваходных даных.
2. Папярэдняя апрацоўка дадзеных:
На гэтым узроўні TFX прапануе TensorFlow Transform (TFT) для папярэдняй апрацоўкі даных і распрацоўкі функцый. TFT дазваляе карыстальнікам вызначаць пераўтварэнні ўваходных дадзеных, такія як маштабаванне, нармалізацыя, аднаразовае кадаванне і г.д. Гэтыя пераўтварэнні прымяняюцца паслядоўна падчас навучання і абслугоўвання, забяспечваючы ўзгодненасць даных і зніжаючы рызыку перакосу даных.
3. Мадэль Навучанне:
TFX выкарыстоўвае магутныя магчымасці навучання TensorFlow на гэтым узроўні. Карыстальнікі могуць вызначаць і навучаць свае мадэлі машыннага навучання з дапамогай API высокага ўзроўню TensorFlow або карыстальніцкага кода TensorFlow. TFX прадастаўляе такія інструменты, як TensorFlow Model Analysis (TFMA) для ацэнкі і праверкі падрыхтаваных мадэляў з выкарыстаннем метрык, візуалізацый і метадаў нарэзкі. TFMA дапамагае ацаніць прадукцыйнасць мадэлі і выявіць магчымыя праблемы або прадузятасці.
4. Праверка і ацэнка мадэлі:
Гэты ўзровень сканцэнтраваны на праверцы і ацэнцы падрыхтаваных мадэляў. TFX забяспечвае праверку дадзеных TensorFlow (TFDV) і аналіз мадэлі TensorFlow (TFMA) для правядзення комплекснай праверкі і ацэнкі мадэлі. TFDV дапамагае праверыць ўваходныя даныя на адпаведнасць чаканням, вызначаным на этапе прыёму даных, у той час як TFMA дазваляе карыстальнікам ацэньваць прадукцыйнасць мадэлі ў адпаведнасці з наканаванымі паказчыкамі і зрэзамі.
5. Разгортванне мадэлі:
TFX падтрымлівае разгортванне мадэлі ў розных асяроддзях, уключаючы TensorFlow Serving, TensorFlow Lite і TensorFlow.js. TensorFlow Serving дазваляе карыстальнікам абслугоўваць свае мадэлі ў якасці маштабуемых і эфектыўных вэб-сэрвісаў, а TensorFlow Lite і TensorFlow.js дазваляюць разгортваць на мабільных і вэб-платформах адпаведна. TFX забяспечвае інструменты і ўтыліты для ўпакоўкі і разгортвання падрыхтаваных мадэляў з лёгкасцю.
6. Арганізацыя і кіраванне працоўным працэсам:
TFX інтэгруецца з сістэмамі кіравання рабочым працэсам, такімі як Apache Airflow і Kubeflow Pipelines, для арганізацыі і кіравання ўсім канвеерам машыннага навучання. Гэтыя сістэмы забяспечваюць магчымасці для планавання, маніторынгу і апрацоўкі памылак, забяспечваючы надзейнае выкананне канвеера.
Арганізаваўшы канвеер у гэтыя гарызантальныя пласты, TFX дазваляе навукоўцам і інжынерам па апрацоўцы дадзеных эфектыўна распрацоўваць і аптымізаваць сістэмы машыннага навучання. Ён забяспечвае структураваны і маштабаваны падыход для кіравання складанасцямі прыёму даных, папярэдняй апрацоўкі, навучання мадэлі, праверкі, ацэнкі і разгортвання. З TFX карыстальнікі могуць засяродзіцца на стварэнні высакаякасных мадэляў і забеспячэнні каштоўнасці для сваіх арганізацый.
TFX для кіравання канвеерамі і аптымізацыі ўключае ў сябе гарызантальныя ўзроўні для прыёму і праверкі даных, папярэдняй апрацоўкі даных, навучання мадэлі, праверкі і ацэнкі мадэлі, разгортвання мадэлі, а таксама аркестроўкі і кіравання працоўным працэсам. Гэтыя ўзроўні працуюць разам, каб спрасціць распрацоўку і разгортванне канвеераў машыннага навучання, што дазваляе навукоўцам і інжынерам па апрацоўцы дадзеных ствараць маштабуемыя і надзейныя сістэмы машыннага навучання.
Іншыя апошнія пытанні і адказы адносна Асновы EITC/AI/TFF TensorFlow:
- Як можна выкарыстоўваць пласт убудавання для аўтаматычнага прызначэння правільных восяў для графіка прадстаўлення слоў у выглядзе вектараў?
- Якая мэта максімальнага аб'яднання ў CNN?
- Як працэс вылучэння прыкмет у сверточной нейронавай сетцы (CNN) прымяняецца да распазнавання малюнкаў?
- Ці неабходна выкарыстоўваць функцыю асінхроннага навучання для мадэляў машыннага навучання, якія працуюць у TensorFlow.js?
- Што такое параметр максімальнай колькасці слоў TensorFlow Keras Tokenizer API?
- Ці можна выкарыстоўваць TensorFlow Keras Tokenizer API для пошуку найбольш частых слоў?
- Што такое TOCO?
- Якая ўзаемасувязь паміж колькасцю эпох у мадэлі машыннага навучання і дакладнасцю прагназавання ад запуску мадэлі?
- Ці стварае API суседніх пакетаў у Neural Structured Learning TensorFlow дапоўнены навучальны набор даных на аснове натуральных графічных даных?
- Што такое API суседніх пакетаў у нейронавым структураваным навучанні TensorFlow?
Глядзіце больш пытанняў і адказаў у EITC/AI/TFF TensorFlow Fundamentals