Loi gamma-normale

Loi Gamma-Normale
Paramètres	${\displaystyle \mu \,}$ réel (position) ${\displaystyle \lambda >0\,}$ réel ${\displaystyle \alpha \geq 1\,}$ réel ${\displaystyle \beta >0\,}$ réel
Support	${\displaystyle x\in (-\infty ,\infty )\,\!,\;\tau \in (0,\infty )}$
Densité de probabilité	${\displaystyle f(x,\tau |\mu ,\lambda ,\alpha ,\beta )=}$ ${\displaystyle {\frac {\beta ^{\alpha }{\sqrt {\lambda }}}{\Gamma (\alpha ){\sqrt {2\pi }}}}\,\tau ^{\alpha -{\frac {1}{2}}}\,\mathrm {e} ^{-\beta \tau }\,\mathrm {e} ^{-{\frac {\lambda \tau (x-\mu )^{2}}{2}}}}$
Espérance	${\displaystyle \operatorname {E} (X)=\mu \,\!,\quad \operatorname {E} (\mathrm {T} )=\alpha \beta ^{-1}}$
Mode	${\displaystyle \left(\mu ,{\frac {\alpha -{\frac {1}{2}}}{\beta }}\right)}$
Variance	${\displaystyle \operatorname {var} (X)={\frac {\beta }{\lambda (\alpha -1)}},\quad }$ ${\displaystyle \operatorname {var} (\mathrm {T} )=\alpha \beta ^{-2}}$
modifier

En théorie des probabilités et en statistiques, la loi gamma-normale (ou Gamma- Gaussienne) est une distribution bivariée continue à quatre paramètres. Elle est la prieure conjuguée de la loi normale de moyenne et variance inconnues^[1].

Soit une paire de variable aléatoires (X,T).

Si la distribution conditionnelle de X sachant T est normale de moyenne ${\displaystyle \mu }$ et variance ${\displaystyle 1/\lambda T}$

${\displaystyle X|T\sim {\mathcal {N}}(\mu ,(\lambda T)^{-1})\,\!,}$

et si la distribution marginale de T est une loi gamma

${\displaystyle T|\alpha ,\beta \sim \operatorname {Gamma} (\alpha ,\beta )\!,}$

alors (X,T) suit une loi gamma-normale, que l'on note

${\displaystyle (X,T)\sim \operatorname {NormalGamma} (\mu ,\lambda ,\alpha ,\beta )\!.}$

La fonction de densité conjointe de (X,T) a la forme

${\displaystyle f(x,\tau |\mu ,\lambda ,\alpha ,\beta )={\frac {\beta ^{\alpha }{\sqrt {\lambda }}}{\Gamma (\alpha ){\sqrt {2\pi }}}}\,\tau ^{\alpha -{\frac {1}{2}}}\,\mathrm {e} ^{-\beta \tau }\,\mathrm {e} ^{-{\frac {\lambda \tau (x-\mu )^{2}}{2}}}}$

Par définition, la distribution marginale de ${\displaystyle \tau }$ est une loi gamma.

La distribution marginale de ${\displaystyle X}$ est une loi de Student non-standardisée de paramètres ${\displaystyle (\nu ,\mu ,\sigma ^{2})=\left(2\alpha ,\mu ,{\frac {\beta }{\lambda \alpha }}\right)}$.

Si ${\displaystyle (X,T)\sim \operatorname {NormalGamma} (\mu ,\lambda ,\alpha ,\beta )}$,

alors pour tout b > 0,

${\displaystyle (bX,bT)\sim \operatorname {NormalGamma} (b\mu ,\lambda ,\alpha ,b^{2}\beta ).}$

Les lois gamma-normales forment une famille exponentielle de paramètre naturel ${\displaystyle (\alpha -{\frac {1}{2}},-\beta -{\frac {\lambda \mu ^{2}}{2}},\lambda \mu ,-{\frac {\lambda }{2}})}$ et de statistique suffisante ${\displaystyle (\ln \tau ,\tau ,\tau x,\tau x^{2})}$.

Ces moments se calculent à l'aide de la fonction génératrice des moments de la statistique suffisante :

${\displaystyle \operatorname {E} (\ln T)=\psi \left(\alpha \right)-\ln \beta }$,

où ${\displaystyle \psi \left(\alpha \right)}$ est la fonction digamma,

${\displaystyle \operatorname {E} (T)={\frac {\alpha }{\beta }}}$,

${\displaystyle \operatorname {E} (TX)=\mu {\frac {\alpha }{\beta }}}$,

${\displaystyle \operatorname {E} (TX^{2})={\frac {1}{\lambda }}+\mu ^{2}{\frac {\alpha }{\beta }}}$.

Soit X distribuée selon une normale de moyenne ${\displaystyle \mu }$ et variance ${\displaystyle 1/\tau }$ inconnues

${\displaystyle X\sim {\mathcal {N}}(\mu ,\tau ^{-1})}$

Supposons que la distribution a priori de ${\displaystyle (\mu ,\tau )}$ suive une distribution gamma-normale ${\displaystyle (\mu _{0},\lambda _{0},\alpha _{0},\beta _{0}),}$

${\displaystyle \pi (\mu ,\tau )\propto \tau ^{\alpha _{0}-{\frac {1}{2}}}\,\exp[{-\beta _{0}\tau }]\,\exp \left[-{\frac {\lambda _{0}\tau (\mu -\mu _{0})^{2}}{2}}\right].}$

Étant donné un échantillon ${\displaystyle \mathbf {X} }$ constitué de n variables aléatoires indépendantes et identiquement distribuées (i.i.d) ${\displaystyle \{x_{1},...,x_{n}\}}$, la distribution a posteriori de ${\displaystyle \mu }$ et ${\displaystyle \tau }$ conditionnellement à cet échantillon se calcule par la formule de Bayes.

${\displaystyle \mathbf {P} (\tau ,\mu |\mathbf {X} )\propto \mathbf {L} (\mathbf {X} |\tau ,\mu )\pi (\tau ,\mu )}$,

où ${\displaystyle \mathbf {L} }$ est la vraisemblance des données observées pour ces paramètres.

Pour des données i.i.d, la vraisemblance conjointe de l'échantillon est égale au produit des vraisemblances individuelles :

${\displaystyle \mathbf {L} (\mathbf {X} |\tau ,\mu )=\prod _{i=1}^{n}\mathbf {L} (x_{i}|\tau ,\mu ).}$

Ainsi,

${\displaystyle {\begin{aligned}\mathbf {L} (\mathbf {X} |\tau ,\mu )&\propto \prod _{i=1}^{n}\tau ^{1/2}\exp \left[{\frac {-\tau }{2}}(x_{i}-\mu )^{2}\right]\\&\propto \tau ^{n/2}\exp \left[{\frac {-\tau }{2}}\sum _{i=1}^{n}(x_{i}-\mu )^{2}\right]\\&\propto \tau ^{n/2}\exp \left[{\frac {-\tau }{2}}\sum _{i=1}^{n}(x_{i}-{\bar {x}}+{\bar {x}}-\mu )^{2}\right]\\&\propto \tau ^{n/2}\exp \left[{\frac {-\tau }{2}}\sum _{i=1}^{n}\left((x_{i}-{\bar {x}})^{2}+({\bar {x}}-\mu )^{2}\right)\right]\\&\propto \tau ^{n/2}\exp \left[{\frac {-\tau }{2}}\left(ns+n({\bar {x}}-\mu )^{2}\right)\right],\end{aligned}}}$

où ${\displaystyle {\bar {x}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}}$, moyenne d'échantillon, et ${\displaystyle s={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}$, variance d'échantillon.

La distribution a posteriori des paramètres devient ainsi

${\displaystyle {\begin{aligned}\mathbf {P} (\tau ,\mu |\mathbf {X} )&\propto \mathbf {L} (\mathbf {X} |\tau ,\mu )\pi (\tau ,\mu )\\&\propto \tau ^{n/2}\exp \left[{\frac {-\tau }{2}}\left(ns+n({\bar {x}}-\mu )^{2}\right)\right]\tau ^{\alpha _{0}-{\frac {1}{2}}}\,\exp \left[-\beta _{0}\tau \right]\,\exp \left[-{\frac {\lambda _{0}\tau (\mu -\mu _{0})^{2}}{2}}\right]\\&\propto \tau ^{{\frac {n}{2}}+\alpha _{0}-{\frac {1}{2}}}\exp \left[-\tau \left({\frac {1}{2}}ns+\beta _{0}\right)\right]\exp \left[-{\frac {\tau }{2}}\left(\lambda _{0}(\mu -\mu _{0})^{2}+n({\bar {x}}-\mu )^{2}\right)\right]\\\end{aligned}}}$

Développant le terme de la deuxième exponentielle, on a :

${\displaystyle {\begin{aligned}\lambda _{0}(\mu -\mu _{0})^{2}+n({\bar {x}}-\mu )^{2}&=\lambda _{0}\mu ^{2}-2\lambda _{0}\mu \mu _{0}+\lambda _{0}\mu _{0}^{2}+n\mu ^{2}-2n{\bar {x}}\mu +n{\bar {x}}^{2}\\[3pt]&=(\lambda _{0}+n)\mu ^{2}-2(\lambda _{0}\mu _{0}+n{\bar {x}})\mu +\lambda _{0}\mu _{0}^{2}+n{\bar {x}}^{2}\\[3pt]&=(\lambda _{0}+n)\left(\mu ^{2}-2{\frac {\lambda _{0}\mu _{0}+n{\bar {x}}}{\lambda _{0}+n}}\mu \right)+\lambda _{0}\mu _{0}^{2}+n{\bar {x}}^{2}\\[3pt]&=(\lambda _{0}+n)\left(\mu -{\frac {\lambda _{0}\mu _{0}+n{\bar {x}}}{\lambda _{0}+n}}\right)^{2}+\lambda _{0}\mu _{0}^{2}+n{\bar {x}}^{2}-{\frac {\left(\lambda _{0}\mu _{0}+n{\bar {x}}\right)^{2}}{\lambda _{0}+n}}\\[3pt]&=(\lambda _{0}+n)\left(\mu -{\frac {\lambda _{0}\mu _{0}+n{\bar {x}}}{\lambda _{0}+n}}\right)^{2}+{\frac {\lambda _{0}n({\bar {x}}-\mu _{0})^{2}}{\lambda _{0}+n}}\end{aligned}},}$

ce qui donne :

${\displaystyle {\begin{aligned}\mathbf {P} (\tau ,\mu |\mathbf {X} )&\propto \tau ^{{\frac {n}{2}}+\alpha _{0}-{\frac {1}{2}}}\exp \left[-\tau \left({\frac {1}{2}}ns+\beta _{0}\right)\right]\exp \left[-{\frac {\tau }{2}}\left(\left(\lambda _{0}+n\right)\left(\mu -{\frac {\lambda _{0}\mu _{0}+n{\bar {x}}}{\lambda _{0}+n}}\right)^{2}+{\frac {\lambda _{0}n({\bar {x}}-\mu _{0})^{2}}{\lambda _{0}+n}}\right)\right]\\&\propto \tau ^{{\frac {n}{2}}+\alpha _{0}-{\frac {1}{2}}}\exp \left[-\tau \left({\frac {1}{2}}ns+\beta _{0}+{\frac {\lambda _{0}n({\bar {x}}-\mu _{0})^{2}}{2(\lambda _{0}+n)}}\right)\right]\exp \left[-{\frac {\tau }{2}}\left(\lambda _{0}+n\right)\left(\mu -{\frac {\lambda _{0}\mu _{0}+n{\bar {x}}}{\lambda _{0}+n}}\right)^{2}\right]\end{aligned}}}$

Cette dernière expression est bien celle d'une distribution Gamma-Normale,

${\displaystyle \mathbf {P} (\tau ,\mu |\mathbf {X} )\sim {\text{NormalGamma}}\left({\frac {\lambda _{0}\mu _{0}+n{\bar {x}}}{\lambda _{0}+n}},\lambda _{0}+n,\alpha _{0}+{\frac {n}{2}},\beta _{0}+{\frac {1}{2}}\left(ns+{\frac {\lambda _{0}n({\bar {x}}-\mu _{0})^{2}}{\lambda _{0}+n}}\right)\right)}$

• La nouvelle moyenne est la moyenne pondérée de l'ancienne pseudo-moyenne et de la moyenne d'échantillon observée, avec des poids relatifs proportionnels aux nombres de (pseudo-)observations.
• Le nombre de pseudo-observations (${\displaystyle \lambda _{0}}$) est adapté simplement en y additionnant le nombre correspondant de nouvelles observations (${\displaystyle n}$).
• La concentration (l'inverse de la variance) a priori revient à estimer sur base de ${\displaystyle 2\alpha }$ pseudo-observations (c.à.d. un nombre éventuellement différent de pseudo-observations, afin de permettre de contrôler séparément la variance de la moyenne et de la concentration) de moyenne ${\displaystyle \mu }$ et variance ${\displaystyle {\frac {\beta }{\alpha }}}$.
• Une nouvelle somme d'écarts quadratiques est constituée de l'addition des sommes d'écarts quadratiques respectives. Toutefois, un "terme d'interaction" doit être ajouté parce que les deux ensembles d'écarts étaient mesurés par rapport à des moyennes distinctes, ce qui sous-estime l'écart quadratique total réel.

Par conséquent, si on a une moyenne a priori ${\displaystyle \mu _{0}}$ basée sur ${\displaystyle n_{\mu }}$ observations et une concentration a priori ${\displaystyle \tau _{0}}$ basée sur ${\displaystyle n_{\tau }}$ observations, la distribution a priori de ${\displaystyle (\mu ,\tau )}$ est

${\displaystyle \mathbf {P} (\tau ,\mu |\mathbf {X} )\sim {\text{NormalGamma}}\left(\mu _{0},n_{\mu },{\frac {n_{\tau }}{2}},{\frac {n_{\tau }}{2\tau _{0}}}\right)}$

et la distribution a posteriori après échantillon de ${\displaystyle n}$ observations de moyenne ${\displaystyle \mu }$ et variance ${\displaystyle s}$ sera

${\displaystyle \mathbf {P} (\tau ,\mu |\mathbf {X} )\sim {\text{NormalGamma}}\left({\frac {n_{\mu }\mu _{0}+n\mu }{n_{\mu }+n}},n_{\mu }+n,{\frac {1}{2}}(n_{\tau }+n),{\frac {1}{2}}\left({\frac {n_{\tau }}{\tau _{0}}}+ns+{\frac {n_{\mu }n(\mu -\mu _{0})^{2}}{n_{\mu }+n}}\right)\right)}$

• La loi gamma-normale inverse est essentiellement la même distribution, paramétrisée par la variance plutôt que la concentration.
• La loi normale-exponentielle-gamma (NEG).

• Bernardo, J.M.; Smith, A.F.M. (1993) Bayesian Theory, Wiley. (ISBN 0-471-49464-X)
• Dearden et al. "Bayesian Q-learning", Proceedings of the Fifteenth National Conference on Artificial Intelligence (AAAI-98), July 26–30, 1998, Madison, Wisconsin, USA.

• Famille exponentielle
• Inférence bayésienne

• Portail des probabilités et de la statistique