Rozkład wielopunktowy

Rozkład wielopunktowy (ang. categorical distribution lub multinoulli distribution^[1]) – dyskretny rozkład prawdopodobieństwa opisujący możliwe wyniki zmiennej losowej mogącej przyjąć jedną z k kategorii. Każda z kategorii ma przypisane oddzielne prawdopodobieństwo. Parametry określające prawdopodobieństwa każdego możliwego wyniku są ograniczone tylko tym, że muszą się mieścić w przedziale od 0 do 1, a suma wszystkich prawdopodobieństw musi wynosić 1.

Kategorie nie muszą mieć określonego porządku, ale dla wygody przy opisywaniu rozkładu często oznacza się je arbitralnie nadanymi etykietami liczbowymi (np. od 1 do k).

K-wymiarowy rozkład wielopunktowy jest najbardziej ogólnym rozkładem zdarzenia mającego k możliwych rezultatów; każdy inny dyskretny rozkład w przestrzeni zdarzeń o rozmiarze k jest jego szczególnym przypadkiem.

Rozkład wielopunktowy jest uogólnieniem rozkładu dwupunktowego obejmującym jakościowe zmienne losowe z więcej niż dwoma możliwymi kategoriami, takie jak wynik rzutu kostką. Z drugiej strony rozkład wielopunktowy jest szczególnym przypadkiem rozkładu wielomianowego, ponieważ podaje prawdopodobieństwa potencjalnych wyników dla pojedynczej próby (pojedynczego losowania), a nie dla wielu prób.

W niektórych dziedzinach, takich jak uczenie maszynowe i przetwarzanie języka naturalnego, rozkłady wielopunktowe i wielomianowe są ze sobą łączone i rozkład wielopunktowy nazywany jest również „rozkładem wielomianowym”^[2]. Takie upraszczające podejście wynika z faktu, że czasem wygodnie jest wyrazić wynik rozkładu wielopunktowego w postaci K-elementowego wektora z jednym elementem równym 1 i wszystkimi pozostałymi równymi 0), a nie w postaci liczby całkowitej z przedziału od 1 do K; w tej formie rozkład wielopunktowy jest równoważny rozkładowi wielomianowemu dla pojedynczej próby.

Rozkład wielopunktowy to dyskretny rozkład prawdopodobieństwa, którego przestrzeń zdarzeń elementarnych jest zbiorem K określonych kategorii. Jest to uogólnienie rozkładu dwupunktowego i rozkładu zero-jedynkowego dla jakościowej zmiennej losowej.

W jednym ze sformułowań rozkładu przestrzeń zdarzeń elementarnych przedstawia się w formie skończonego ciągu liczb całkowitych; może to być {0, 1, ..., k − 1}, {1, 2, ..., k} lub jeszcze inny zestaw liczb. W poniższych opisach dla wygody użyto {1, 2, ..., k}, chociaż jest to niezgodne z konwencją dotyczącą rozkładu zero-jedynkowego, która wykorzystuje {0, 1}. W tym przypadku funkcja masy prawdopodobieństwa f wynosi:

${\displaystyle f(x=i\mid {\boldsymbol {p}})=p_{i},}$

gdzie ${\displaystyle {\boldsymbol {p}}=(p_{1},\ldots ,p_{k})}$, ${\displaystyle p_{i}}$ oznacza prawdopodobieństwo uzyskania kategorii i, zaś ${\displaystyle \textstyle {\sum _{i=1}^{k}p_{i}=1}.}$

Innym sposobem zapisu prawdopodobieństwa w rozkładzie wielopunktowym, który wydaje się bardziej skomplikowany, ale ułatwia matematyczne przekształcenia, jest sposób wykorzystujący nawias Iversona^[2]:

${\displaystyle f(x\mid {\boldsymbol {p}})=\prod _{i=1}^{k}p_{i}^{[x=i]},}$

Gdzie ${\displaystyle [x=i]}$ ma wartość 1, jeśli ${\displaystyle x=i}$, zaś 0 w przeciwnym razie. Taka formuła ma wiele zalet, m.in.:

• Łatwiej jest zapisać funkcję wiarygodności zbioru niezależnych zmiennych wielopunktowych o identycznym rozkładzie.
• Uwidoczniona jest analogia między rozkładem wielopunktowym i rozkładem wielomianowym.
• Pokazuje, dlaczego rozkład Dirichleta jest rozkładem sprzężonym rozkładu wielopunktowego, i pozwala na wyznaczenie rozkładu a posteriori.

Inny sposób sformułowania jeszcze wyraźniej ukazuje związek między rozkładem wielopunktowym i wielomianowym, ponieważ traktuje rozkład wielopunktowy jako szczególny przypadek rozkładu wielomianowego, w którym parametr n rozkładu wielomianowego (liczba prób) jest ustalony na 1. W tym sformułowaniu przestrzeń zdarzeń można uznać za zbiór k-elementowych wektorów x, zawierających pojedynczą jedynkę i zera poza tym. Określony element o wartości 1 wskazuje, która kategoria została wybrana. Funkcja masy prawdopodobieństwa f przy takim sposobie sformułowania to:

${\displaystyle f(\mathbf {x} \mid {\boldsymbol {p}})=\prod _{i=1}^{k}p_{i}^{x_{i}},}$

gdzie ${\displaystyle p_{i}}$ jest prawdopodobieństwem uzyskania elementu i oraz ${\displaystyle \textstyle {\sum _{i}p_{i}=1}}$.

• Rozkład jest całkowicie określony przez k prawdopodobieństw: ${\displaystyle p_{i}=P(X=i)}$, i = 1,... , k, gdzie ${\displaystyle \textstyle {\sum _{i}p_{i}=1}}$ . Możliwe wektory prawdopodobieństw tworzą standardowy ${\displaystyle (k-1)}$-wymiarowy sympleks. Dla k = 2 (rozkładu zero-jedynkowego) sprowadza się to do jednowymiarowego sympleksu (odcinka), ${\displaystyle p_{1}+p_{2}=1,0\leq p_{1},p_{2}\leq 1.}$
• ${\displaystyle \operatorname {E} \left[\mathbf {x} \right]={\boldsymbol {p}}}$
• Niech ${\displaystyle {\boldsymbol {X}}}$ ma rozkład wielopunktowy, zaś wektor losowy Y niech składa się z elementów:

${\displaystyle Y_{i}=\mathbf {I} ({\boldsymbol {X}}=i),}$

gdzie ${\displaystyle \mathbf {I} }$ jest funkcją wskaźnikową. Wtedy Y ma rozkład będący szczególnym przypadkiem rozkładu wielomianowego z parametrem ${\displaystyle n=1}$. Suma ${\displaystyle n}$ niezależnych zmiennych Y o jednakowym rozkładzie wielopunktowym z parametrem ${\displaystyle {\boldsymbol {p}}}$ ma rozkład wielomianowy z parametrami ${\displaystyle n}$ i ${\displaystyle {\boldsymbol {p}}.}$

• Sprzężony rozkład aprioryczny rozkładu wielopunktowego jest rozkładem Dirichleta^[2].
• Statystyką dostateczną dla ustalonej całkowitej liczby n niezależnych prób jest zbiór zliczeń (lub, równoważnie, częstość) obserwacji w każdej kategorii.
• Funkcja charakterystyczna obserwacji o wartości i (czyli ${\displaystyle [x=i]}$ w notacji Iversona lub ${\displaystyle \delta _{xi}}$ z wykorzystaniem delty Kroneckera) ma rozkład zero-jedynkowy z parametrem ${\displaystyle p_{i}.}$

• Rozkład Dirichleta
• Rozkład wielomianowy
• Rozkład zero-jedynkowy