Якія матэматычныя ўласцівасці энтрапіі і чаму яна неадмоўная?

/ / Апублікавана ў кібербяспека, EITC/IS/QCF Асновы квантавай крыптаграфіі, Энтрапія, Класічная энтрапія, Экзаменацыйны агляд

Энтрапія з'яўляецца фундаментальным паняццем у тэорыі інфармацыі і гуляе важную ролю ў розных галінах, уключаючы кібербяспеку і квантавую крыптаграфію. У кантэксце класічнай энтрапіі матэматычныя ўласцівасці энтрапіі дакладна вызначаны і даюць каштоўнае разуменне прыроды інфармацыі і яе нявызначанасці. У гэтым адказе мы вывучым гэтыя матэматычныя ўласцівасці і растлумачым, чаму энтрапія неадмоўная.

Спачатку давайце вызначым энтрапію. У тэорыі інфармацыі энтрапія вымярае сярэднюю колькасць інфармацыі, якая змяшчаецца ў выпадковай велічыні. Ён колькасна вызначае нявызначанасць, звязаную з магчымымі вынікамі выпадковай зменнай. Матэматычна для дыскрэтнай выпадковай велічыні X з функцыяй масы імавернасці P(X) энтрапія H(X) вызначаецца як:

H(X) = -∑ P(x) log₂ P(x)

дзе сумаванне бярэцца па ўсіх магчымых значэннях x ад X. Лагарыфм звычайна бярэцца па падставе 2, у выніку чаго энтрапія вымяраецца ў бітах.

Зараз давайце разгледзім матэматычныя ўласцівасці энтрапіі. Першая ўласцівасць заключаецца ў тым, што энтрапія заўсёды неадмоўная. Гэта азначае, што энтрапія выпадковай велічыні або сістэмы не можа быць адмоўнай. Каб зразумець, чаму энтрапія неадмоўная, нам трэба разгледзець уласцівасці функцыі лагарыфма.

Функцыя лагарыфма вызначана толькі для дадатных значэнняў. У формуле энтрапіі функцыя масы верагоднасці P(x) уяўляе імавернасць з'яўлення кожнага значэння x. Паколькі верагоднасці неадмоўныя (г.зн. P(x) ≥ 0), будзе вызначаны лагарыфм неадмоўнай верагоднасці. Акрамя таго, лагарыфм 1 роўны 0. Такім чынам, кожны член у суме формулы энтрапіі будзе неадмоўны або роўны нулю. У выніку сума неадмоўных членаў таксама будзе неадмоўнай, што гарантуе, што энтрапія неадмоўная.

Каб праілюстраваць гэтую ўласцівасць, разгледзім справядлівае кіданне манеты. Выпадковая зменная X уяўляе сабой вынік кідання манеты, дзе X = 0 для арлоў і X = 1 для рэшак. Функцыя масы імавернасці P(X) вызначаецца як P(0) = 0.5 і P(1) = 0.5. Падстаўляючы гэтыя значэнні ў формулу энтрапіі, мы атрымліваем:

H(X) = -(0.5 log₂ 0.5 + 0.5 log₂ 0.5) = -(-0.5 – 0.5) = 1

Энтрапія справядлівага падкідвання манеты роўная 1 біту, што сведчыць аб наяўнасці адной долі нявызначанасці, звязанай з вынікам падкідвання манеты.

Энтрапія не толькі неадмоўная, але і валодае іншымі важнымі ўласцівасцямі. Адной з такіх уласцівасцей з'яўляецца тое, што энтрапія максімізуецца, калі ўсе вынікі аднолькава верагодныя. Іншымі словамі, калі функцыя масы верагоднасці P(x) такая, што P(x) = 1/N для ўсіх магчымых значэнняў x, дзе N — колькасць магчымых вынікаў, то энтрапія максімальная. Гэта ўласцівасць супадае з нашай інтуіцыяй, што максімальная нявызначанасць існуе, калі ўсе вынікі аднолькава верагодныя.

Акрамя таго, энтрапія з'яўляецца адытыўнай для незалежных выпадковых велічынь. Калі ў нас ёсць дзве незалежныя выпадковыя зменныя X і Y, энтрапія іх сумеснага размеркавання з'яўляецца сумай іх індывідуальных энтрапій. Матэматычна гэта ўласцівасць можна выказаць так:

H(X, Y) = H(X) + H(Y)

Гэта ўласцівасць асабліва карысная пры аналізе энтрапіі састаўных сістэм або пры працы з некалькімі крыніцамі інфармацыі.

Матэматычныя ўласцівасці энтрапіі ў класічнай тэорыі інфармацыі дакладна вызначаны. Энтрапія неадмоўная, максімальная, калі ўсе вынікі аднолькава верагодныя, і адытыўная для незалежных выпадковых зменных. Гэтыя ўласцівасці забяспечваюць трывалую аснову для разумення прыроды інфармацыі і яе нявызначанасці.

Іншыя апошнія пытанні і адказы адносна Класічная энтрапія:

Яшчэ пытанні і адказы:

тэгі: , , , , ,