Otras carreras Definición de entropía

[alexpglez]

He leído que la definición de entropía de una variable aleatoria discreta $X$, con función de probabilidad $f(x_j)=P(X=x_j)$ es:

$$H(X)=-\sum_{i=1}^n f(x_i) \log f(x_i)$$

Se dice que esta cantidad representa el desorden, pero no veo por qué. Tampoco sabría como se extiende esta definición al caso continuo.

Resulta que en la asignatura de estadística (del grado de matemáticas), estamos interesados en dada una variable aleatoria $X$ (que supondré discreta para los cálculos que siguen), y dada una muestra $\vec x=(x_1,...,x_N)$, cuál es la probabilidad de que $X$ produzca $\vec x$. Por independencia (teórica) de los valores de la muestra se ve que esta probabilidad $P$ es:

$$P=\prod_{i=1}^N P(X=x_i)= \prod_{i=1}^N f(x_i)$$

Por comodidad (a la hora de buscar máximos cuando el modelo depende de un parámetro $\theta$, $f(x_i)=f(x_i;\theta)$, por ejemplo), se suele tomar el logaritmo, para intercambiar sumas y productos:

$$\log P=\sum_{i=1}^N \log f(x_i)$$

Había pensado en agrupar términos idénticos, así tendríamos:

$$\log P=\sum_{i=1}^n n_i \log f(x_i)$$

Donde $n_i$ es el número de veces que se repite el valor $x_i$ en la muestra. Si dividimos entre $N$, $f_i=n_i/N$ es la frecuencia relativa del valor $x_i$ en la muestra. Así:

$$\frac{\log P}{N}=\sum_{i=1}^n f_i \log f(x_i)$$

Mi intuición es que, si la muestra $\vec x$ está producida por $X$, entonces cuando $N$ es muy grande, $f_i \approx f(x_i)$ y entonces:

$$\frac{\log P}{N} \approx \sum_{i=1}^n f(x_i) \log f(x_i)=-H(X)$$

Es decir, que intuitivamente veo que, cuando $N$ grande y $\vec x$ está producida por $X$. Sea $P$ la probabilidad de haber producido esa muestra, este valor es:

$$P \approx e^{-N H(X)}$$

Interpreto por tanto que la entropía es una medida que ayuda a reconocer que una muestra generada por $X$ esté generada por $X$. ¿Es así?

Gracias, saludos

[pod]

Re: Definición de entropía

No soy un experto en teoría de la información, pero la forma más habitual de justificar la entropia de Shannon es a partir de la función información, I(p). Shannon pide que la función información cumpla las siguientes propiedades:

1. No negativa
2. Debe ser decreciente monótona; los sucesos con probabilidad alta dan menos información.
3. I(1) = 0, si algo ocurre siempre no aporta información.
4. Para eventos independientes la información es aditiva, $I(p_1 p_2) = I(p_1) + I(p_2)$.

Es sencillo demostrar que el logaritmo cumple todas estas propiedades, $I(p) = - \log_2 p$. En este sentido, la entropía es simplemente el valor esperado de la información transmitida por un canal

$$S = - \sum_i p_i \log_2 p_i.$$

La interpretación de "entropía implica desorden" es más bien heurística que estricta (lo mismo pasa en la entropía física). ¿Cuándo está más desordenado un sistema? Cuando todos los resultados son igualmente posibles. Considera, por ejemplo, un sistema con dos resultados, probabilidades p y 1-p. La entropía es

$$S = -p \log_2 p - (1-p) \log_2 (1-p).$$

Es fácil demostrar que esta función tiene un máximo en p=1/2, cuando los dos resultados son igualmente posible (si quieres hacer la demostración, se simplifica si en vez de en "bits" trabajas en "nats", que básicamente significa usar logaritmos naturales en vez de binarios, lo que da un factor $1/\log_2 e$).

[Weip]

Re: Definición de entropía

Hola alexpglez.

Tampoco sabría como se extiende esta definición al caso continuo.

Existen varias generalizaciones de la definición para el caso continuo así que intentaré dar un poco de motivación del porqué de esto. Para que la definición sirva para el caso continuo a priori uno observa que la definición en el caso discreto se puede poner como una esperanza:

$H(X):=-\dst\sum_{i=1}^n f(x_i) \log f(x_i)=-E(\log(f(X)))$

Y como la esperanza para variables aleatorias absolutamente continuas se define sustituyendo suma por integral entonces tiene mucho sentido definir:

$H(X):=-E(\log(f(X)))=-\dst\int_{\chi}f(x)\log{f(x)} dx$

Donde $\chi$ es el soporte de $f$. A esta noción de entropía se le llama entropía diferencial. Parece que esta es una extensión con sentido pero lo cierto es que no lo es: la entropía diferencial tiene menos propiedades que la entropía de Shannon. Por ejemplo, puede ser negativa. Es por eso que la entropía diferencial no suele ser considerada una entropía como tal y en su lugar se definen otras entropías que se basan en modificar la entropía diferencial y cuya definición puedes encontrar en este link de la wikipedia (apartado "Extending discrete entropy to the continuous case").

[Julián]

Re: Definición de entropía

Interpreto por tanto que la entropía es una medida que ayuda a reconocer que una muestra generada por esté generada por . ¿Es así?

La entropía es utilizada en teoría de información y principalmente en comunicaciones para conocer la degradación de un canal o sistema y para compresión y criptografía.

Dada la variable aleatoria $X$ discreta, donde esto es útil para modelar un canal digital. Tenemos su entropía como [Error LaTeX: Compilación LaTeX fallida] .

Donde X representa todos los símbolos en el canal de información. Sea un sistema 4-QAM tenemos pues X={00,01,10,11} donde cada uno es un símbolo.

La máxima entropía es un sistema con todos los símbolos igualmente probables y eso no brinda información.

$<br /> {P}_{0}={P}_{1}={P}_{2}={P}_{3}=1/4$

Debido a las características del canal. Existe una probabilidad de error de símbolo

https://es.wikiversity.org/wiki/C%C3...AM_rectangular (no lo he chekeado)

Por lo que en un canal o sistema tenemos que $\Delta H > 0$, de la misma manera que en termondinámica $\Delta S >0$. A mayor variación de entropía más "ruidoso" es el canal. Por lo que o deberá modificarse la cantidad de símbolo $X$ o la energía de estos. Deberá por lo tanto aportarse energía para $Delta H <=0$ (en sistemas de comunicaciones son los llamados repetidores.)

Otro aspecto útil es la probabilidad condicional, en este caso la entropía condicional.

$H(X, Y) = - {\sum} f(X,Y) {log}_{2} p (X,Y)$

La variable aleatoria Y aporta información de X. Por lo tanto es posible "obviar" ciertos símbolos y no transmitirlos (o no guardarlos en una sistema con memoria, ya que puede inferirse la variable aleatoria x en función de y).