1r ciclo Encontrar relación entre secuencias de datos.

[guibix]

Buenas a todo el mundo!

Estoy buscando métodos matemáticos que me permitan buscar relaciones estadísticas entre distintas secuencias de datos numéricos dependientes del tiempo.

Supongamos dos o más sucesiones ($a_t, b_t, c_t,$ etc.) que podrían ser datos atmosféricos, económicos, etc. Pueden ser des de datos aparentemente aleatorios a datos de tipo “random walk” que tienen valores para cada momento dado.

No tengo muchos conocimientos de estadística y lo único que se me ocurre es usar algún tipo de red neuronal artificial (RNA) (de propagación inversa, por ejemplo) que haga el trabajo. La idea es usar los datos como entradas de la red, así como sus derivadas (en el caso de los datos “random walk”) y sus sumatorias integrales (en todos los casos). El problema de usar RNA es que no sé muy bien como arreglar los datos. ¿Pongo las distintas entradas ($a_t, b_t,$ etc.) variables en el tiempo o pongo todos los datos con todos los tiempos como una entrada única?

En el primer caso no veo como ajustar las salidas y en el segundo tengo un número ingente de entradas en la red. Pero en ambos casos no se me ocurre qué criterio debo usar para sus salidas. O sea, que no sé qué salidas tiene que predecir la red para su algoritmo de aprendizaje.

¿Qué tipo de red debería usar para datos que corran con el tiempo, una red Hopfield? No lo veo claro.

En todo caso, la idea de la RNA me parece demasiado excesiva y poco óptima (demasiada fuerza bruta). Sí que puedo sacar desviaciones estadísticas para cada secuencia individual pero no veo la forma de encontrar relaciones entre las distintas secuencias sin recurrir a las RNAs.

¿Cómo puedo cruzar las distintas secuencias de datos para encontrar relaciones entre ellas de forma óptima?

Gracias y un saludo.

[Julián]

Re: Encontrar relación entre secuencias de datos.

Estoy buscando métodos matemáticos que me permitan buscar relaciones estadísticas entre distintas secuencias de datos numéricos dependientes del tiempo.

Función autocorrelación sirve para encontrar efectivamentes parámetros repetitivos en las señales. Así por ejemplo, para un ruido, al aplicarle la autocorrelación, que es la correlación cruzada de la señal con ella misma, podemos encontrar un periodo, frecuencia, o algún otro parámetro enmascarado. Es usada en el ámbito de comunicaciones. Como verás es aplicable no solo a señales continuas sino de tiempos discretos y digitales (digitals es una señal de tiempo discreto con valores dicretos). Porque no dejas claro como son esos datos, si analógicos o digitales.
https://es.wikipedia.org/wiki/Autocorrelación

No tengo muchos conocimientos de estadística y lo único que se me ocurre es usar algún tipo de red neuronal artificial (RNA) (de propagación inversa, por ejemplo) que haga el trabajo. La idea es usar los datos como entradas de la red, así como sus derivadas (en el caso de los datos “random walk”) y sus sumatorias integrales (en todos los casos). El problema de usar RNA es que no sé muy bien como arreglar los datos. ¿Pongo las distintas entradas ( etc.) variables en el tiempo o pongo todos los datos con todos los tiempos como una entrada única?


En el primer caso no veo como ajustar las salidas y en el segundo tengo un número ingente de entradas en la red. Pero en ambos casos no se me ocurre qué criterio debo usar para sus salidas. O sea, que no sé qué salidas tiene que predecir la red para su algoritmo de aprendizaje.

No dejás en claro que es lo que querés hacer. Por lo que entiendo sea un sistema con n entradas, en donde cada entrada correspondería a señales de información y sus salidas?¿? Supongo que sus salidas serían una sañal con parámetros comunes a la señales de entrada. Por ende deberias aplicar la correlación cruzada a las señales o autocorelación, dependiendo que es lo que quieres.

¿Cómo puedo cruzar las distintas secuencias de datos para encontrar relaciones entre ellas de forma óptima?

Autocorrelación y si quieres encontrar relaciones entre una señal parámetro, correlación cruzada. Ambas te sirven para señales de tiempo continuo o de tiempo discreto (digitales incluidas)

Es más si recuerdo bien, la autocorrelación es el valor esperado (media estadística) del producto de la función con la misma función desplazada en el tiempo. Tiene una relación con la esperanza matemática (probabilidad) ya que tu señal o señales de entrada son procesos estocásticos (información), si no fuera así no tendrías que andar haciendo estas cosas ya que serían señales determinísticas.

[Richard R Richard]

Re: Encontrar relación entre secuencias de datos.

Estoy buscando métodos matemáticos que me permitan buscar relaciones estadísticas entre distintas secuencias de datos numéricos dependientes del tiempo.

La dependencia se debe a que el dato es variable en el tiempo, y no llevas registro, o a que proviene de una muestra extraída en un tiempo igual a t y este dato obtenido solo sirve si es considerado que se obtuvo en ese momento t?

Supongamos dos o más sucesiones ($a_t, b_t, c_t,$ etc.) que podrían ser datos atmosféricos, económicos, etc. Pueden ser des de datos aparentemente aleatorios a datos de tipo “random walk” que tienen valores para cada momento dado.

Los datos aleatorios pueden agruparse, dando una distribución, sobre la curva de la distribución puedes integrar para saber si un dato se encuentra dentro de ciertos limites que te impongas.
Por otro lado los datos ramdom walk el dato de $a_{t+1}$ depende estrechamente del $a_t$ anterior, la población de estos datos de una sola variable la puedes ajustar a una función que a priori sabes debe seguir ( lineal, exponencial, o la que presupongas) algo de ello puedes explorar si te sirve aqui, aunque no solo sirve para este tipo de datos.

No tengo muchos conocimientos de estadística y lo único que se me ocurre es usar algún tipo de red neuronal artificial (RNA) (de propagación inversa, por ejemplo) que haga el trabajo. La idea es usar los datos como entradas de la red, así como sus derivadas (en el caso de los datos “random walk”) y sus sumatorias integrales (en todos los casos). El problema de usar RNA es que no sé muy bien como arreglar los datos. ¿Pongo las distintas entradas ($a_t, b_t,$ etc.) variables en el tiempo o pongo todos los datos con todos los tiempos como una entrada única?

Creo que este tipo de redes, solo te da un resultado en base a la información de la población que entra en su primera linea, transformándola en su parte media, pero no te dira nada de como es la relación entre los grupos a b c . solo le puedes programar que tome decisiones sobre que dato dar en base a lo que entra.

En el primer caso no veo como ajustar las salidas y en el segundo tengo un número ingente de entradas en la red. Pero en ambos casos no se me ocurre qué criterio debo usar para sus salidas. O sea, que no sé qué salidas tiene que predecir la red para su algoritmo de aprendizaje.

Supon que tienes un ordenador que acumula las ultimas n muestras de cada uno de los procesos a b y c a tomados a intervalos de tiempo $\Delta t$ mediante el ajuste puedes extrapolar datos que te falten dinamicamente, usando correlación puedes inferir con que probabilidad los datos del momento $a_t, b_t , c_t$se alejan de los valores esperados, incluso predecir otros en función algunos dados ej sabiendo$a_t, b_t$ saber con que probabilidad $c_t$ estará dentro de los limites que le impongas , tanto referido al universo acumulado o a los últimos datos de extraídos de la población.
la autocorrelación es un proceso que infiere en función de la misma población de estudio, ej si periodicamente ( cada una deteminada cantidad de tiempo t) la media de las ultimas n muestras excede cierto limite, puedes predecir concierto grado de probabilidad que en siguiente lapso de tiempo $\Delta t$ la serie tomara valores por encima de dicho limite.

En todo caso, la idea de la RNA me parece demasiado excesiva y poco óptima (demasiada fuerza bruta). Sí que puedo sacar desviaciones estadísticas para cada secuencia individual pero no veo la forma de encontrar relaciones entre las distintas secuencias sin recurrir a las RNAs.

Las desviaciones estadísticas te sirven para establecer los coeficientes de correlación entre las variables, que hayas tomado al mismo tiempo.

¿Cómo puedo cruzar las distintas secuencias de datos para encontrar relaciones entre ellas de forma óptima?

Todo ajuste trata de optimizar, osea de minimizar el error entre los datos de la población y el que aporte la curva de ajuste para ese momento t., El tipo de curva al que tienes que ajustar los datos tienes que deducirlo a priori, y luego lo puedes mejorar en base a la experiencia . La correlación y el ajuste son buenas herramientas para describir comportamientos ente distintos tipos de variables.

Espero haberte sido mínimamente útil en base a lo que recuerdo de la estadística técnica de ingeniería

[guibix]

Re: Encontrar relación entre secuencias de datos.

Gracias a los dos.

Voy a digerir esto y ya preguntaré más adelante lo que me quede suelto.

Saludos.