Wishartfördelning

John Wishart (1898-1956).

Inom statistiken är Wishartfördelningen en generalisering till flera dimensioner av chitvåfördelningen eller till gammafördelningen då det är fråga om icke-heltal i frihetsgrader. Metoden är uppkallad efter John Wishart som tog fram den och först använde sig av den år 1928.

Definition

Antag att X är en n × p {\displaystyle n\times p} -matris, där varje rad är oberoende av varandra med ett p-variatvärde med medelvärdet 0:

X ( i ) = ( x i 1 , , x i p ) T N p ( 0 , V ) {\displaystyle X_{(i)}{=}(x_{i}^{1},\dots ,x_{i}^{p})^{T}\sim N_{p}(0,V)}

Wishartfördelningen är då den sannolikhetsfördelningen av p × p {\displaystyle p\times p} -matrisen i den slumpmässiga matrisen S = X T X {\displaystyle S=X^{T}X} , även känd som spridningsmatrisen. Sannolikhetsfördelningen för S visas genom formeln

S W p ( V , n ) {\displaystyle S\sim W_{p}(V,n)}

Det positiva heltalet n är antalet frihetsgrader i matrisen, detta visas som W(V, p, n). Då n≥p är S inverterbar med sannolikhet 1, antaget att V är inverterbar.

Förekomster

Wishartfördelningen kan ses som fördelningen av delarna till en kovariantmatris som i sig är en del av en multivariant normal fördelning. Den förekommer ofta i ratio-test inom den multivarianta statistiska analysen och även i teorin om slumpmässiga matriser.

Metoden används också vid trådlös kommunikation då den spelar stor roll för att analysera digitala signaler för MIMO-kanaler.

Egenskaper

Log-förväntan

Utgå från följande formel:

E [ ln | X | ] = i = 1 p ψ ( n + 1 i 2 ) + p ln ( 2 ) + ln | V | {\displaystyle \operatorname {E} [\ln |\mathbf {X} |]=\sum _{i=1}^{p}\psi \left({\frac {n+1-i}{2}}\right)+p\ln(2)+\ln |\mathbf {V} |}

där ψ {\displaystyle \psi } är digammafunktionen. Denna funktion som inkluderar Wishartfördelningen hittas då ett bayesiskt nätverk tas fram.

Entropi

Inom entropin, som är ett begrepp inom informationsteorin, har följande formel av fördelningen:

H [ X ] = ln ( B ( V , n ) ) n p 1 2 E [ ln | X | ] + n p 2 {\displaystyle \operatorname {H} [\mathbf {X} ]=-\ln \left(B(\mathbf {V} ,n)\right)-{\frac {n-p-1}{2}}\operatorname {E} [\ln |\mathbf {X} |]+{\frac {np}{2}}}

där B ( V , n ) {\displaystyle B(\mathbf {V} ,n)} är en normaliserande konstant i fördelningen:

B ( V , n ) = 1 | V | n 2 2 n p 2 Γ p ( n 2 ) {\displaystyle B(\mathbf {V} ,n)={\frac {1}{\left|\mathbf {V} \right|^{\frac {n}{2}}2^{\frac {np}{2}}\Gamma _{p}({\frac {n}{2}})}}}

Detta visas i följande uträkning:

H [ X ] = n 2 ln | V | + n p 2 ln ( 2 ) + ln ( Γ p ( n 2 ) ) n p 1 2 E [ ln | X | ] + n p 2 = n 2 ln | V | + n p 2 ln ( 2 ) + p ( p 1 ) ln ( π ) 4 + i = 1 p ln ( Γ ( n + 1 i 2 ) ) n p 1 2 ( i = 1 p ψ ( n + 1 i 2 ) + p ln ( 2 ) + ln | V | ) + n p 2 = n 2 ln | V | + n p 2 ln ( 2 ) + p ( p 1 ) ln ( π ) 4 + i = 1 p ln ( Γ ( n + 1 i 2 ) ) n p 1 2 i = 1 p ψ ( n + 1 i 2 ) n p 1 2 ( p ln ( 2 ) + ln | V | ) + n p 2 = p + 1 2 ln | V | + 1 2 p ( p + 1 ) ln ( 2 ) + p ( p 1 ) ln ( π ) 4 + i = 1 p ln ( Γ ( n + 1 i 2 ) ) n p 1 2 i = 1 p ψ ( n + 1 i 2 ) + n p 2 {\displaystyle {\begin{aligned}\operatorname {H} [\mathbf {X} ]&={\tfrac {n}{2}}\ln |\mathbf {V} |+{\tfrac {np}{2}}\ln(2)+\ln \left(\Gamma _{p}({\tfrac {n}{2}})\right)-{\frac {n-p-1}{2}}\operatorname {E} [\ln |\mathbf {X} |]+{\tfrac {np}{2}}\\&={\tfrac {n}{2}}\ln |\mathbf {V} |+{\tfrac {np}{2}}\ln(2)+{\frac {p(p-1)\ln(\pi )}{4}}+\sum _{i=1}^{p}\ln \left(\Gamma \left({\tfrac {n+1-i}{2}}\right)\right)-{\frac {n-p-1}{2}}\left(\sum _{i=1}^{p}\psi \left({\tfrac {n+1-i}{2}}\right)+p\ln(2)+\ln |\mathbf {V} |\right)+{\tfrac {np}{2}}\\&={\tfrac {n}{2}}\ln |\mathbf {V} |+{\tfrac {np}{2}}\ln(2)+{\frac {p(p-1)\ln(\pi )}{4}}+\sum _{i=1}^{p}\ln \left(\Gamma \left({\tfrac {n+1-i}{2}}\right)\right)-{\frac {n-p-1}{2}}\sum _{i=1}^{p}\psi \left({\tfrac {n+1-i}{2}}\right)-{\frac {n-p-1}{2}}\left(p\ln(2)+\ln |\mathbf {V} |\right)+{\tfrac {np}{2}}\\&={\tfrac {p+1}{2}}\ln |\mathbf {V} |+{\tfrac {1}{2}}p(p+1)\ln(2)+{\frac {p(p-1)\ln(\pi )}{4}}+\sum _{i=1}^{p}\ln \left(\Gamma \left({\tfrac {n+1-i}{2}}\right)\right)-{\frac {n-p-1}{2}}\sum _{i=1}^{p}\psi \left({\tfrac {n+1-i}{2}}\right)+{\tfrac {np}{2}}\end{aligned}}}

Karakteristisk funktion

Wishartfördelningens karakteristiska funktion är

Θ | I 2 i Θ V | n 2 {\displaystyle \Theta \mapsto \left|{\mathbf {I} }-2i\,{\mathbf {\Theta } }{\mathbf {V} }\right|^{-{\frac {n}{2}}}}

Med andra ord

Θ E [ e x p ( i t r ( X Θ ) ) ] = | I 2 i Θ V | n 2 {\displaystyle \Theta \mapsto \operatorname {E} \left[\mathrm {exp} \left(i\mathrm {tr} (\mathbf {X} {\mathbf {\Theta } })\right)\right]=\left|{\mathbf {I} }-2i{\mathbf {\Theta } }{\mathbf {V} }\right|^{-{\frac {n}{2}}}}

där E visar vad som förväntas.

Sats

Om en pxp slumpmässig matris X har en Wishartfördelning med m frihetsgrader och variansmatrisen V, d.v.s X≈Wp(V,m), och C är en qxp-matris med rank q, i så fall kan de skrivas som

C X T T W q ( C V C T , m ) {\displaystyle CXT^{T}\sim W_{q}(CVC^{T},m)} .

Referenser

  • Wishart, J. (1928). "The generalised product moment distribution in samples from a normal multivariate population". Biometrika 20A (1–2): 32–52. doi:10.1093/biomet/20A.1-2.32. JFM 54.0565.02.JSTOR 2331939.
  • Zanella, A.; Chiani, M.; Win, M.Z. (April 2009). "On the marginal distribution of the eigenvalues of wishart matrices". IEEE Transactions on Communications 57 (4): 1050–1060.doi:10.1109/TCOMM.2009.04.070143.
  • C.M. Bishop, Pattern Recognition and Machine Learning, Springer 2006, p. 693.
  • Anderson, T. W. (2003). An Introduction to Multivariate Statistical Analysis (3rd ed.). Hoboken, N. J.: Wiley Interscience. p. 259. ISBN 0-471-36091-0.
  • Rao, C. R., Linear statistical inference and its applications, Wiley 1965, p. 535