Ацэнка BLEU - гэта шырока выкарыстоўваная метрыка для ацэнкі прадукцыйнасці мадэляў машыннага перакладу. Ён вымярае падабенства паміж зробленым машынай перакладам і адным ці некалькімі даведачнымі перакладамі. У кантэксце індывідуальнай мадэлі перакладу, навучанай з дапамогай AutoML Translation, адзнака BLEU можа даць каштоўную інфармацыю аб якасці і эфектыўнасці выхаду мадэлі.
Каб зразумець, як выкарыстоўваецца бал BLEU, важна спачатку зразумець асноўныя паняцці. BLEU расшыфроўваецца як Bilingual Evaluation Understudy, і гэта было распрацавана як спосаб аўтаматычнай ацэнкі якасці машынных перакладаў шляхам іх параўнання з эталоннымі перакладамі, створанымі чалавекам. Ацэнка вагаецца ад 0 да 1, прычым больш высокая адзнака азначае лепшы пераклад.
AutoML Translation - гэта магутны інструмент, прапанаваны Google Cloud AI Platform, які дазваляе карыстальнікам навучаць уласныя мадэлі перакладу, выкарыстоўваючы ўласныя даныя. Пасля навучання мадэлі яе можна выкарыстоўваць для стварэння перакладаў для новага ўводнага тэксту. Ацэнка BLEU можа быць выкарыстана для ацэнкі якасці гэтых перакладаў.
Каб вылічыць бал BLEU, пераклады, створаныя мадэллю, параўноўваюцца з адным або некалькімі эталоннымі перакладамі. Параўнанне заснавана на n-грамах, якія ўяўляюць сабой сумежныя паслядоўнасці з n слоў. Ацэнка BLEU улічвае не толькі дакладнасць n-грам у перакладзе, створаным мадэллю, але і іх наяўнасць у эталонных перакладах. Гэта дапамагае зафіксаваць як адэкватнасць, так і бегласць перакладаў.
Праілюструем гэта на прыкладзе. Дапусцім, у нас ёсць даведачны пераклад: «Кот сядзіць на дыванку». І мадэль спараджае такі пераклад: «Кот сядзіць на дыванку». Мы можам разбіць гэтыя сказы на n-грамы:
Спасылка: ["The", "cat", "is", "sitting", "on", "the", "mat"] Мадэль: ["The", "cat", "sits", "on", "the", "mat"]
У гэтым выпадку мадэль правільна перакладае большасць n-грам, але прапускае час дзеяслова ("is" супраць "sits"). Ацэнка BLEU будзе адлюстроўваць гэта, прысвойваючы больш нізкую ацэнку перакладу.
Паказчык BLEU можна вылічыць з дапамогай розных метадаў, такіх як мадыфікаваны штраф за дакладнасць і кароткасць. Мадыфікаваная дакладнасць улічвае той факт, што пераклад можа ўтрымліваць некалькі уваходжанняў n-грамы, у той час як пакаранне за кароткасць карае пераклады, якія значна карацейшыя за эталонныя пераклады.
Ацэньваючы ацэнку BLEU індывідуальнай мадэлі перакладу, навучанай з дапамогай AutoML Translation, карыстальнікі могуць атрымаць уяўленне аб прадукцыйнасці мадэлі і вызначыць вобласці для паляпшэння. Яны могуць параўноўваць балы BLEU розных мадэляў або ітэрацый, каб адсочваць прагрэс і прымаць абгрунтаваныя рашэнні аб выбары або тонкай наладзе мадэлі.
Паказчык BLEU з'яўляецца каштоўным паказчыкам для ацэнкі прадукцыйнасці карыстальніцкіх мадэляў перакладу, навучаных з дапамогай AutoML Translation. Ён дае колькасную меру якасці машынных перакладаў шляхам параўнання іх з эталоннымі перакладамі. Аналізуючы ацэнку BLEU, карыстальнікі могуць ацаніць эфектыўнасць сваіх мадэляў і прымаць рашэнні на аснове даных для павышэння якасці перакладу.
Іншыя апошнія пытанні і адказы адносна Пераклад AutoML:
- Якія этапы ўваходзяць у стварэнне індывідуальнай мадэлі перакладу з дапамогай AutoML Translation?
- Як AutoML Translation ліквідуе разрыў паміж агульнымі задачамі перакладу і нішавымі слоўнікамі?
- Якая роля AutoML Translation у стварэнні ўласных мадэляў перакладу для пэўных даменаў?
- Як карыстальніцкія мадэлі перакладу могуць быць карыснымі для спецыялізаванай тэрміналогіі і паняццяў машыннага навучання і штучнага інтэлекту?