Distribució contínua de Bernoulli

Distribució contínua de Bernoulli

En teoria de probabilitats, estadística i aprenentatge automàtic, la distribució contínua de Bernoulli és una família de distribucions de probabilitat contínues parametritzades per un sol paràmetre de forma ${\displaystyle \lambda \in (0,1)}$, definit en l'interval unitari ${\displaystyle x\in [0,1]}$, per: ^[1]

${\displaystyle p(x|\lambda )\propto \lambda ^{x}(1-\lambda )^{1-x}.}$

La distribució contínua de Bernoulli sorgeix en l'aprenentatge profund i la visió per ordinador, específicament en el context dels autoencoders variacionals, per modelar les intensitats de píxels d'imatges naturals. Com a tal, defineix una contrapartida probabilística adequada per a la pèrdua d'entropia creuada binària que s'utilitza habitualment, que sovint s'aplica a contínues, ${\displaystyle [0,1]}$ - dades valorades. Aquesta pràctica equival a ignorar la constant normalitzadora de la distribució contínua de Bernoulli, ja que la pèrdua d'entropia creuada binària només defineix una veritable probabilitat logarítmica per a discrets, ${\displaystyle \{0,1\}}$ - dades valorades.^[2]

El Bernoulli continu també defineix una família exponencial de distribucions. Escriptura ${\displaystyle \eta =\log \left(\lambda /(1-\lambda )\right)}$ per al paràmetre natural, la densitat es pot reescriure en forma canònica: ${\displaystyle p(x|\eta )\propto \exp(\eta x)}$ .

El Bernoulli continu es pot pensar com una relaxació contínua de la distribució de Bernoulli, que es defineix en el conjunt discret. ${\displaystyle \{0,1\}}$ per la funció de massa de probabilitat:

${\displaystyle p(x)=p^{x}(1-p)^{1-x},}$

on ${\displaystyle p}$ és un paràmetre escalar entre 0 i 1. Aplicant aquesta mateixa forma funcional a l'interval continu ${\displaystyle [0,1]}$ dona lloc a la funció de densitat de probabilitat de Bernoulli contínua, fins a una constant normalitzadora.

La distribució Beta té la funció de densitat:

${\displaystyle p(x)\propto x^{\alpha -1}(1-x)^{\beta -1},}$

que es pot reescriure com:

${\displaystyle p(x)\propto x_{1}^{\alpha _{1}-1}x_{2}^{\alpha _{2}-1},}$

on ${\displaystyle \alpha _{1},\alpha _{2}}$ són paràmetres escalars positius, i ${\displaystyle (x_{1},x_{2})}$ representa un punt arbitrari dins del símplex 1, ${\displaystyle \Delta ^{1}=\{(x_{1},x_{2}):x_{1}>0,x_{2}>0,x_{1}+x_{2}=1\}}$ . Canviant el paper del paràmetre i l'argument en aquesta funció de densitat, obtenim:

${\displaystyle p(x)\propto \alpha _{1}^{x_{1}}\alpha _{2}^{x_{2}}.}$ ^[4]