Consultas al open data de AEMET

Iniciado por M_Pinar, Lunes 03 Julio 2023 17:32:48 PM

Tema anterior - Siguiente tema

_00_

******
Supercélula
Mensajes: 6,105
Motril, costa granaina
Ubicación: Motril - 40 mts
En línea
#24
Cita de: M_Pinar en Viernes 14 Junio 2024 14:27:30 PM
Cita de: _00_ en Viernes 14 Junio 2024 14:17:42 PM
Una pregunta M_Pinar,
¿los datos los obtienes directamente de la página de aemet o tienes copia?
(Si tienes copia: ¿en tabla o en base de datos?)

te lo pregunto porque estaría bien integrar IA para poder chatear con los datos...
Tengo copia en una base de datos: el acceso al open data de AEMET está restringido, solo te deja coger los datos en bloques de 6 meses máximo y enseguida te corta el grifo si pides más de no sé cuantos por minuto. Así que, sin copia, imposible, jejeje

Por esa misma razón, poco a poco se irán cargando todos los datos que faltan, va a tardar días!

Lo de integrarlo con IA, solo tengo algún conocimiento teórico al respecto, nunca me he puesto con ello, pero todo es empezar, quién sabe...
https://microsoft.github.io/lida/
https://github.com/microsoft/lida

muy sencillo de instalar y te sirve web, también puedes configurarlo para que sirva otros modelos además de openia,....
(si te animas avisa y vamos probando)
(como modelo de generación de texto el qwen2:7b tiene buen ratio,..., '  provider="hf", model="Qwen/Qwen2-7B"  ')

M_Pinar

***
Cumulus Congestus
Mensajes: 572
Ubicación: Valladolid, zona sur
En línea
Cita de: _00_ en Lunes 17 Junio 2024 00:35:51 AM
Cita de: M_Pinar en Viernes 14 Junio 2024 14:27:30 PM
Cita de: _00_ en Viernes 14 Junio 2024 14:17:42 PM
Una pregunta M_Pinar,
¿los datos los obtienes directamente de la página de aemet o tienes copia?
(Si tienes copia: ¿en tabla o en base de datos?)

te lo pregunto porque estaría bien integrar IA para poder chatear con los datos...
Tengo copia en una base de datos: el acceso al open data de AEMET está restringido, solo te deja coger los datos en bloques de 6 meses máximo y enseguida te corta el grifo si pides más de no sé cuantos por minuto. Así que, sin copia, imposible, jejeje

Por esa misma razón, poco a poco se irán cargando todos los datos que faltan, va a tardar días!

Lo de integrarlo con IA, solo tengo algún conocimiento teórico al respecto, nunca me he puesto con ello, pero todo es empezar, quién sabe...
https://microsoft.github.io/lida/
https://github.com/microsoft/lida

muy sencillo de instalar y te sirve web, también puedes configurarlo para que sirva otros modelos además de openia,....
(si te animas avisa y vamos probando)
(como modelo de generación de texto el qwen2:7b tiene buen ratio,..., '  provider="hf", model="Qwen/Qwen2-7B"  ')
Gracias!! No digo que vaya a ponerme mañana ni pasado, jejeje, pero en algún momento sacaré tiempo...

La carga de datos sigue a su ritmo, de la A a la Z ya va por las de Lugo, aunque luego lanzaré una segunda vuelta para recuperar huecos de datos que van quedando por ahí.
Valladolid, zona sur

https://mpinar.es/

Vigorro...

FORERO TRISTE ALMERIA
La vieja guardia de Meteored
*****
Supercélula Tornádica
Mensajes: 35,180
GARBANZO NEGRO DEL FORO, GRRR...
En línea
Voy a hacer un par de peticiones, ya que cada vez consulto mas tu web, nen... la primera creo que es facil de implementar, la segunda no se...

1.- si quiero ver las temperaturas de un dia concreto tengo que ir mirando estacion a estacion... eso no es problema, se trata de elegir otra estacion en el desplegable y punto, na y menos de trabajo... lo que si es cansado es tener que volver a introducir la fecha en cuestion, porque en cuanto selecciono otra estacion, la fecha cambia y coge los ultimos 15 dias de datos... seria cojonudo que se mantuviera la fecha, que solo se cambie si el usuario quiere...

2.- ya puestos, y relacionado con lo anterior, ¿seria posible, en vez de seleccionar estaciones, seleccionar dias?... o sea, extraer pej un listado de todas las estaciones del 3ene12, por decir algo... se que serian necesarios otros desplegables, como uno en plan calendario para elegir fecha y otro para elegir la variable que quieres ver, por eso digo que seguramente sea mas coñazo...

¡¡Gracias!!, no sabes lo que me ayuda tu web, tio... :master: :master: :master:

M_Pinar

***
Cumulus Congestus
Mensajes: 572
Ubicación: Valladolid, zona sur
En línea
Cita de: Vigorro... en Martes 23 Julio 2024 22:43:19 PM
Voy a hacer un par de peticiones, ya que cada vez consulto mas tu web, nen... la primera creo que es facil de implementar, la segunda no se...

1.- si quiero ver las temperaturas de un dia concreto tengo que ir mirando estacion a estacion... eso no es problema, se trata de elegir otra estacion en el desplegable y punto, na y menos de trabajo... lo que si es cansado es tener que volver a introducir la fecha en cuestion, porque en cuanto selecciono otra estacion, la fecha cambia y coge los ultimos 15 dias de datos... seria cojonudo que se mantuviera la fecha, que solo se cambie si el usuario quiere...

2.- ya puestos, y relacionado con lo anterior, ¿seria posible, en vez de seleccionar estaciones, seleccionar dias?... o sea, extraer pej un listado de todas las estaciones del 3ene12, por decir algo... se que serian necesarios otros desplegables, como uno en plan calendario para elegir fecha y otro para elegir la variable que quieres ver, por eso digo que seguramente sea mas coñazo...

¡¡Gracias!!, no sabes lo que me ayuda tu web, tio... :master: :master: :master:
La primera es fácil, la segunda, sí, en mente tengo poner algo en plan comparativa de datos de varias estaciones. Viendo que es útil, me anima a seguir  [emoji3]
Valladolid, zona sur

https://mpinar.es/


Vigorro...

FORERO TRISTE ALMERIA
La vieja guardia de Meteored
*****
Supercélula Tornádica
Mensajes: 35,180
GARBANZO NEGRO DEL FORO, GRRR...
En línea
Antes de nada, gracias por la seleccion multiple, mola... [emoji41]

Una cosa en la que nunca habia caido, ¿como tienes los datos de los ultimos dias si en Opendata aun no estan, los coges provisionalmente de la web?...

Corisa Bruguer

DesModerador
*****
Cb Incus
Mensajes: 3,570
Muskiz (Bizkaia) Altitud 0-635 m
En línea
Muchas gracias por currarte las gráficas. Enhorabuena!!
Mudá 1002 m snm en plena Montaña Palentina / 187 habitantes,partido judicial de Cervera de Pisuerga / MONTAÑA PALENTINA

M_Pinar

***
Cumulus Congestus
Mensajes: 572
Ubicación: Valladolid, zona sur
En línea
Cita de: Vigorro... en Domingo 13 Octubre 2024 13:30:42 PM
Antes de nada, gracias por la seleccion multiple, mola... [emoji41]

Una cosa en la que nunca habia caido, ¿como tienes los datos de los ultimos dias si en Opendata aun no estan, los coges provisionalmente de la web?...
Así es, los pillo de la web directamente (solo de los observatorios que salen en la web, claro), y cuando salen publicados en el Opendata, se reescriben.

Además, de cuando en cuando se recargan los datos de las últimas semanas también, pues he visto que a veces corrigen/revisan datos a posteriori.

Valladolid, zona sur

https://mpinar.es/

M_Pinar

***
Cumulus Congestus
Mensajes: 572
Ubicación: Valladolid, zona sur
En línea


Vigorro...

FORERO TRISTE ALMERIA
La vieja guardia de Meteored
*****
Supercélula Tornádica
Mensajes: 35,180
GARBANZO NEGRO DEL FORO, GRRR...
En línea
Que crack, que maravilla, colega... :aplause:  :aplause:  :aplause:

Pepeavilenho

Meteo Tropical
*****
Supercélula
Mensajes: 9,265
Ubicación: Avila (1200m)
En línea
Mil gracias por la web.
Diría que te has pasado el juego con esta actualización, pero no lo voy a decir para que sigas mejorándola aún más  :babeo: