Anuncio

Colapsar
No hay ningún anuncio todavía.

Definición de entropía

Colapsar
X
 
  • Filtro
  • Hora
  • Mostrar
Borrar todo
nuevos mensajes

  • Otras carreras Definición de entropía

    He leído que la definición de entropía de una variable aleatoria discreta , con función de probabilidad es:
    Se dice que esta cantidad representa el desorden, pero no veo por qué. Tampoco sabría como se extiende esta definición al caso continuo.

    Resulta que en la asignatura de estadística (del grado de matemáticas), estamos interesados en dada una variable aleatoria (que supondré discreta para los cálculos que siguen), y dada una muestra , cuál es la probabilidad de que produzca . Por independencia (teórica) de los valores de la muestra se ve que esta probabilidad es:
    Por comodidad (a la hora de buscar máximos cuando el modelo depende de un parámetro , , por ejemplo), se suele tomar el logaritmo, para intercambiar sumas y productos:

    Había pensado en agrupar términos idénticos, así tendríamos:
    Donde es el número de veces que se repite el valor en la muestra. Si dividimos entre , es la frecuencia relativa del valor en la muestra. Así:
    Mi intuición es que, si la muestra está producida por , entonces cuando es muy grande, y entonces:

    Es decir, que intuitivamente veo que, cuando grande y está producida por . Sea la probabilidad de haber producido esa muestra, este valor es:


    Interpreto por tanto que la entropía es una medida que ayuda a reconocer que una muestra generada por esté generada por . ¿Es así?

    Gracias, saludos
    [TEX=null] \vdash_T G \leftrightarrow Consis \; \ulcorner T \urcorner [/TEX]

  • #2
    Re: Definición de entropía

    No soy un experto en teoría de la información, pero la forma más habitual de justificar la entropia de Shannon es a partir de la función información, I(p). Shannon pide que la función información cumpla las siguientes propiedades:

    1. No negativa
    2. Debe ser decreciente monótona; los sucesos con probabilidad alta dan menos información.
    3. I(1) = 0, si algo ocurre siempre no aporta información.
    4. Para eventos independientes la información es aditiva, .


    Es sencillo demostrar que el logaritmo cumple todas estas propiedades, . En este sentido, la entropía es simplemente el valor esperado de la información transmitida por un canal


    La interpretación de "entropía implica desorden" es más bien heurística que estricta (lo mismo pasa en la entropía física). ¿Cuándo está más desordenado un sistema? Cuando todos los resultados son igualmente posibles. Considera, por ejemplo, un sistema con dos resultados, probabilidades p y 1-p. La entropía es


    Es fácil demostrar que esta función tiene un máximo en p=1/2, cuando los dos resultados son igualmente posible (si quieres hacer la demostración, se simplifica si en vez de en "bits" trabajas en "nats", que básicamente significa usar logaritmos naturales en vez de binarios, lo que da un factor ).
    La única alternativo a ser Físico era ser etéreo.
    @lwdFisica

    Comentario


    • #3
      Re: Definición de entropía

      Hola alexpglez.
      Escrito por alexpglez Ver mensaje
      Tampoco sabría como se extiende esta definición al caso continuo.
      Existen varias generalizaciones de la definición para el caso continuo así que intentaré dar un poco de motivación del porqué de esto. Para que la definición sirva para el caso continuo a priori uno observa que la definición en el caso discreto se puede poner como una esperanza:



      Y como la esperanza para variables aleatorias absolutamente continuas se define sustituyendo suma por integral entonces tiene mucho sentido definir:


      Donde es el soporte de . A esta noción de entropía se le llama entropía diferencial. Parece que esta es una extensión con sentido pero lo cierto es que no lo es: la entropía diferencial tiene menos propiedades que la entropía de Shannon. Por ejemplo, puede ser negativa. Es por eso que la entropía diferencial no suele ser considerada una entropía como tal y en su lugar se definen otras entropías que se basan en modificar la entropía diferencial y cuya definición puedes encontrar en este link de la wikipedia (apartado "Extending discrete entropy to the continuous case").
      Última edición por Weip; 09/11/2018, 13:48:18.

      Comentario


      • #4
        Re: Definición de entropía

        Interpreto por tanto que la entropía es una medida que ayuda a reconocer que una muestra generada por esté generada por . ¿Es así?
        La entropía es utilizada en teoría de información y principalmente en comunicaciones para conocer la degradación de un canal o sistema y para compresión y criptografía.

        Dada la variable aleatoria discreta, donde esto es útil para modelar un canal digital. Tenemos su entropía como [Error LaTeX: Compilación LaTeX fallida] .

        Donde X representa todos los símbolos en el canal de información. Sea un sistema 4-QAM tenemos pues X={00,01,10,11} donde cada uno es un símbolo.

        La máxima entropía es un sistema con todos los símbolos igualmente probables y eso no brinda información.



        Debido a las características del canal. Existe una probabilidad de error de símbolo

        https://es.wikiversity.org/wiki/C%C3...AM_rectangular (no lo he chekeado)

        Por lo que en un canal o sistema tenemos que , de la misma manera que en termondinámica . A mayor variación de entropía más "ruidoso" es el canal. Por lo que o deberá modificarse la cantidad de símbolo o la energía de estos. Deberá por lo tanto aportarse energía para (en sistemas de comunicaciones son los llamados repetidores.)

        Otro aspecto útil es la probabilidad condicional, en este caso la entropía condicional.



        La variable aleatoria Y aporta información de X. Por lo tanto es posible "obviar" ciertos símbolos y no transmitirlos (o no guardarlos en una sistema con memoria, ya que puede inferirse la variable aleatoria x en función de y).
        Por más bella o elegante que sea la teoría, si los resultados no la acompañan, está mal.

        Comentario

        Contenido relacionado

        Colapsar

        Trabajando...
        X