Función de Hartley

La función de Hartley es una medida de la incertidumbre, introducida por Ralph Hartley en 1928. Si se elige uniformemente al azar una muestra de un conjunto finito A, la información que se revela con el resultado está dada por la función de Hartley

${\displaystyle H_{0}(A):=\mathrm {log} _{b}\vert A\vert ,}$

donde | A | denota la cardinalidad de A.

Si la base del logaritmo es 2, la unidad de medida de la incertidumbre es el shannon. Si es el logaritmo natural, entonces la unidad es el nat. Hartley usó un logaritmo en base 10, y en esta base la unidad de información se denomina hartley en su honor. También se conoce como entropía de Hartley.

La función de Hartley coincide con la entropía de Shannon (así como con la entropía de Rényi de todos los órdenes) en el caso de una distribución de probabilidad uniforme. Es un caso particular de entropía de Rényi, ya que:

${\displaystyle H_{0}(X)={\frac {1}{1-0}}\log \sum _{i=1}^{|X|}p_{i}^{0}=\log |X|.}$

Pero también se puede ver como una construcción primitiva, ya que, como enfatizaron Kolmogórov y Rényi, la función de Hartley se puede definir sin introducir ninguna noción de probabilidad.

La función de Hartley solo depende del número de elementos en un conjunto, y por tanto puede verse como una función sobre los números naturales. Rényi demostró que la función de Hartley en base 2 es la única función de los números naturales en números reales que satisface

1. ${\displaystyle H(mn)=H(m)+H(n)}$ (aditividad)
2. ${\displaystyle H(m)\leq H(m+1)}$ (monotonía)
3. ${\displaystyle H(2)=1}$ (normalización)

La condición 1 da que la incertidumbre del producto cartesiano de dos conjuntos finitos A y B es la suma de las incertidumbres de A y B. La condición 2 da que un conjunto mayor da una incertidumbre mayor.

Queremos demostrar que la función de Hartley, log₂(n), es la única función de los números naturales en números reales que satisface las condiciones

1. ${\displaystyle H(mn)=H(m)+H(n)\,}$ (aditividad)
2. ${\displaystyle H(m)\leq H(m+1)\,}$ (monotonía)
3. ${\displaystyle H(2)=1\,}$ (normalización)

Sea ƒ una función sobre los enteros positivos que satisface las propiedades anteriores. Por la propiedad aditiva, podemos probar que para cualquier par de enteros n y k,

${\displaystyle f(n^{k})=kf(n).\,}$

Sean a, b, y t enteros positivos cualesquiera. Existe un único entero s determinado por

${\displaystyle a^{s}\leq b^{t}\leq a^{s+1}.\qquad (1)}$

Por tanto,

${\displaystyle s\log _{2}a\leq t\log _{2}b\leq (s+1)\log _{2}a\,}$

y

${\displaystyle {\frac {s}{t}}\leq {\frac {\log _{2}b}{\log _{2}a}}\leq {\frac {s+1}{t}}.}$

Por otra parte, por monotonía

${\displaystyle f(a^{s})\leq f(b^{t})\leq f(a^{s+1}).\,}$

Usando la ecuación (1), se obtiene

${\displaystyle sf(a)\leq tf(b)\leq (s+1)f(a),\,}$

y

${\displaystyle {\frac {s}{t}}\leq {\frac {f(b)}{f(a)}}\leq {\frac {s+1}{t}}.}$

Así,

${\displaystyle \left\vert {\frac {f(b)}{f(a)}}-{\frac {\log _{2}(b)}{\log _{2}(a)}}\right\vert \leq {\frac {1}{t}}.}$

Dado que t puede ser arbitrariamente grande, la diferencia en el lado izquierdo de la desigualdad debe ser cero,

${\displaystyle {\frac {f(b)}{f(a)}}={\frac {\log _{2}(b)}{\log _{2}(a)}}.}$

Por tanto,

${\displaystyle f(a)=\mu \log _{2}(a)\,}$

para alguna constante μ, que debe ser igual a 1 por la propiedad de normalización.

• Entropía de Rényi
  
• Entropía min

• Este artículo incorpora material de Hartley function en PlanetMath, que tiene licencia Creative Commons Atribución Compartir-Igual.
• Este artículo incorpora material de Derivation of Hartley function en PlanetMath, que tiene licencia Creative Commons Atribución Compartir-Igual.