Banquisa en el Ártico. (Índice del tópic en el primer post)

(Recordaréis que hice el ejercicio de comparar los mapas de HadISST con los de AARI para el sector siberiano, y retocar y ampliar la serie en base a ellos: https://foro.tiempo.com/banquisa-en-el-artico-indice-del-topic-en-el-primer-post-t80817.0.html;msg3326140#msg3326140  y  https://foro.tiempo.com/banquisa-en-el-artico-indice-del-topic-en-el-primer-post-t80817.0.html;msg3327990#msg3327990 )

Por cierto, ¿hay alguien por aquí que entienda de gridded data, raster, algo de programación y esas cosas?  ¿y que tenga tiempo y ganas de ayudar a conocer la evolución de la extensión de la banquisa antes de los satélites? 

Se trataría de hacer lo que he hecho yo de forma casera con Panoply, Photoshop y Excel (y alguna prueba con QGIS que no fue muy fructífera) pero en este caso haciéndolo bien (supongo que habría que usar R o algo así, no lo sé, yo en estos temas me pierdo).

Se trataría básicamente de coger los datos de HadISST y sustituir el sector siberiano con los datos de los mapas de AARI (y algún otro pequeño ajuste, obtendríamos nuevos datos georeferenciados y mapas de la extensión mensual de la banquisa, habría que sacar también datos numéricos totales en base a ellos, y tendríamos un producto interesante y publicable)

Los datos de HadISST están aquí: http://www.metoffice.gov.uk/hadobs/hadisst/data/download.html (y aquí la descripción del producto: http://www.metoffice.gov.uk/hadobs/hadisst/ )

Los datos de AARI están aquí: ftp://sidads.colorado.edu/pub/DATASETS/NOAA/G02176/ (y aquí la explicación del producto: http://nsidc.org/data/docs/noaa/g02176_aari_charts/ )

(septiembre del 52 sería un buen ejemplo de prueba, por si alguien se anima)

Creo que estoy pidiendo mucho...   

Yo no se casi ni de lo que estas hablando, si no, te ayudaria encantao...

La derecha es usar R, el programa es gratuito es relativamente sencillo programarlo, pero hace falta tiempo y pillarle el tranquillo.

Yo no se casi ni de lo que estas hablando, si no, te ayudaria encantao...

Gracias, Vigorro. No, si lo mismo me pasa a mí, que apenas si sé de lo que estoy hablando   

La derecha es usar R, el programa es gratuito es relativamente sencillo programarlo, pero hace falta tiempo y pillarle el tranquillo.

Gracias. Ya, ya ando mirando un poco cómo va eso de R, pero me pierdo completamente...

Si te animas  (o lo hace cualquier otro) sugiero un ejercicio: array 993 (16/09/1952) de este archivo netcdf: sustituir los datos de concentración del hielo en las coordenadas donde sea posible, por los datos de este archivo: ftp://sidads.colorado.edu/pub/DATASETS/NOAA/G02176/binary/1952/E19520910.v0.bin y de este otro: ftp://sidads.colorado.edu/pub/DATASETS/NOAA/G02176/binary/1952/W19520915.v0.bin (se supone que estos dos son 'EASE GRID binary')
(Los datos de HadISST también están en txt y pp , los datos de AARI también están en sigrid y en mapas png: ftp://sidads.colorado.edu/pub/DATASETS/NOAA/G02176/)

El objetivo es conseguir un archivo netcdf que incluya esa sustitución de datos, y desde el que podamos generar un mapa con dichos datos modificados (El mapa original sería este (generado con Panoply)) (Si el resultado no es netcdf, pero es hdf o algún otro formato que permita lo que pido, pues también puede valer).





Cambiando de tema, a día de hoy la extensión de la banquisa ártica se mueve en torno a los valores más altos de los últimos diez años (Sería, quitando a 2009 con el que está en empate técnico, la extensión más alta desde 2004. Aunque, de todas formas, esta es una época con relativamente poca variabilidad interanual):




Saludos

Si te animas  (o lo hace cualquier otro) sugiero un ejercicio: array 993 (16/09/1952) de este archivo netcdf: sustituir los datos de concentración del hielo en las coordenadas donde sea posible, por los datos de este archivo: ftp://sidads.colorado.edu/pub/DATASETS/NOAA/G02176/binary/1952/E19520910.v0.bin y de este otro: ftp://sidads.colorado.edu/pub/DATASETS/NOAA/G02176/binary/1952/W19520915.v0.bin (se supone que estos dos son 'EASE GRID binary')
(Los datos de HadISST también están en txt y pp , los datos de AARI también están en sigrid y en mapas png: ftp://sidads.colorado.edu/pub/DATASETS/NOAA/G02176/)

El objetivo es conseguir un archivo netcdf que incluya esa sustitución de datos, y desde el que podamos generar un mapa con dichos datos modificados (El mapa original sería este (generado con Panoply)) (Si el resultado no es netcdf, pero es hdf o algún otro formato que permita lo que pido, pues también puede valer).

  Pues yo tampoco sé nada del tema, pero para ver si aprendo algo me he puesto a jugar un poco con los ficheros. El problema es que no tengo muy claro si lo que he hecho es algo mínimamente aceptable, o una burrada considerable.

  He generado tres ficheros netcdf, uno para el fichero E19520910.v0.bin : https://www.dropbox.com/s/3sc1bxooqhc2va4/E19520910.v0.bin.nc?dl=0
  Otro para el W19520915.v0.bin  :  https://www.dropbox.com/s/u83feilqgv1vszv/W19520915.v0.bin.nc?dl=0
  Y otro que intenta ser la fusión del array 993 del HadISST_ice.nc con estos dos :  https://www.dropbox.com/s/647c6x07srnrou9/prueba993.nc?dl=0

  El caso es que no sé si estará bien, no sé si será lo que buscabas, no sé si ya lo tendrás, no sé ... no sé. Pero por lo menos alguna cosilla he aprendido en el camino. Si crees que no merece la pena, pues nada, ya se intentará colaborar en otra ocasión. Y en el muy hipotético caso de que le veas alguna posibilidad, podemos comentar los detalles del proceso de transformación de los ficheros.

    

Perfecto socrates, has hecho exactamente lo que pedía! Muchísimas gracias.  A primera vista ya te digo que tu resultado me parece más que satisfactorio, y es lo que andaba buscando. 
Ahora no tengo tiempo, pero ya voy a revisar un poco más los ficheros, y desde luego que te agradecería si pudiéramos comentar los detalles del proceso de transformación...
Muchas gracias!

  Me alegra mucho que pueda servir para algo el trabajillo.
  Comento los pasos que he seguido para hacerlo:

  Según lo que he ido leyendo en http://nsidc.org/data/docs/noaa/g02176_aari_charts/ . Los ficheros Arctic and Antarctic Research Institute (AARI) son ficheros binarios, representan una región de 721x721 elementos, siendo cada uno de ellos un cuadrado de unos 12.5Km de lado. Los primeros 721x721 (519841 bytes) del fichero, representan el porcentaje de hielo en cada una de esas áreas (es el valor que estoy usando), hay otros cuatro grupos con la concentración de hielo nuevo, etc.
  Y hay dos ficheros: aarilats.bin y aarilons.bin que son los que tienen la equivalencia entre cada posición del fichero con latitud y longitud.
  Lo que he hecho, es con un programita en C (eatxt.c), se le pasa como parámetro el nombre de fichero del que leer los datos de los ficheros AARI en binario ( E19520910.v0.bin y W19520915.v0.bin en este caso). Los datos de HadISST están dados en elementos de 1 grado de longitud x 1 grado de latitud, así que lo que va haciendo el programa es leer un byte del fichero AARI, luego dos bytes de aarilats.bin y otros dos de aarilons.bin que representan la latitud y longitud de ese punto. Aquí viene la primera duda, como los ficheros AARI tienen más resolución que HadISST, su latitud y longitud viene con decimales, así que a una región de 1x1 grado del HadISST, le corresponden varios datos de los AARI, y no siempre el mismo número. Haciendo pruebas, me pareció que el mejor ajuste se consiguía sumando 0.499 a las latitudes leidas, eso es equivalente a que, por ejemplo, las latitudes de 60.5 hasta 61.49 en el AARI se pasan a 61º en HadISST. En el programa es el parametro PARARND.
  Una vez que se tienen los datos agrupados por cuadraditos de un grado de latitud y longitud, se hace la media de los datos de AARI leidos. Pero lo que puede pasar es que en uno de esa haya medidas de hielo y zonas de tierra, a las que no corresponden medida. También, ajustando a ojo, lo que he hecho es descartar aquellos cuadraditos en los que el número de zonas de tierra sea mayor que el de medidas de hielo + 2. Es el parámetro PARATIE en el programa.
  Y finalmente lo que hace es grabar los datos en un fichero de texto, y llamar a un programita en R (eatxtnc.R) que lee esos datos y genera un fichero .nc.
  Para juntar realmente en un fichero .nc los datos de HadISST y AARI, es el programa en R eatxtnc2.R: lee los datos del fichero HadISST (pero solo la línea 993), y luego los datos en formato texto correspondientes a E19520910.v0.bin y W19520915.v0.bin, generados con el eatxt.c, los compara y va sustituyendo para luego generar un nuevo fichero .nc con los nuevos datos.

  El programa en C lo compilo:  gcc eatxt.c -o eatxt  (trabajo en Linux)
  En R hay que instalar el paquete ncdf, para poder trabajar con los ficheros netcdf.
  También se puede trabajar con los ficheros netcdf directamente desde C, pero yo no sé cómo hacerlo, así que por eso he usado R. Y leer los datos en binario no lo sé hacer en R, y por eso he usado C. (Por cierto, apenas sé alguna cosa de R, así que programo en R como si fuese C, con lo que se pierde mucha de la potencia de R, pero funcionar funciona).

  Supongo que ahora faltaría automatizar un poco el proceso, sobre todo el eatxt2.R, que ahora está leyendo directamente el elemento 993 del array, y los nombres de fichero fijos. Pero eso ya me dirás.

  Ahora me voy a preparar la cena, y me va a ser difícil dedicarle mucho más tiempo hasta después de reyes ...

 
eatxt.c : https://www.dropbox.com/s/kw2iornian4faih/eatxtnc.R?dl=0
eatxtnc.R : https://www.dropbox.com/s/kw2iornian4faih/eatxtnc.R?dl=0
eatxtnc2.R : https://www.dropbox.com/s/bul7lbdpysddcgc/eatxtnc2.R?dl=0
 

Gran trabajo socrates!!   

Muchísimas gracias!! Me parece que has hecho un trabajo realmente excelente!

Un detalle, creo que el primer enlace, que se supone que es a eatxt.c , en realidad lleva a eatxtnc.R . Así que faltaría por enlazar eatxt.c . También te agradecería si pudieras enlazar los dos archivos de texto correspondientes a E19520910.v0.bin y W19520915.v0.bin .

Ando haciendo pruebas en R con el código que me has pasado, aunque de momento aún me pierdo bastante... pero bueno, a ver si llego a algo.
Eso sí, si te siguieras encargando de la parte de programación, creo que con algo de tiempo podríamos realizar una interesantísima serie de la extensión de la banquisa en septiembre desde mediados de los años 30 hasta el presente, con cifras totales y mapas más precisos y fiables que los disponibles actualmente (HadISST, Walsh&Chapman). Te merecerías ser el 'autor principal', desde luego.

Algunos comentarios-preguntas-dudas generales...

- ¿se podrían hacer retoques manuales de los datos? Por ejemplo, en prueba993.nc aparecen algunas celdas con hielo al sur del mar de Kara, en torno a los 60ºE y entre 70 y 75ºN. Esta zona no se cubre en W19520915.v0.bin , por lo que se ha mantenido ese hielo de los datos originales de HadISST. Sin embargo, la zona sí que aparece en los datos de AARI del 24 de agosto-W19520824.v0.bin donde se indica ya sin hielo, y sigue sin recongelar en octubre-W19521014.v0.bin)
(EDITO 04/01/2015: vale, puedes olvidarte de esto porque lo de editar manualmente más o menos ya lo he conseguido!) (ver mapas al final del post)

- ¿sabes si es posible calcular un valor numérico en km2 correspondiente a la extensión de la banquisa en cada mapa? (como referencia, por ejemplo el original de HadISST para septiembre del 52, creo que deberia dar unos 9.850.000 km2; ¿podríamos calcular esa cifra, para el original y para el modificado prueba993.nc ? )


En cuanto al plan general de construcción de la serie, lo que habría que hacer básicamente es:

- Tomar los arrays del 16 de septiembre de HadISST entre 1935 y 1978 (arrays 789,801 ... 1293,1305) y contrastarlos con los datos de AARI de fecha más próxima al 16 de septiembre de cada año, sustituyendo donde corresponda, tal como has hecho con 1952. Supongo que lo ideal sería automatizarlo en lo posible... (para ello supongo que debería seleccionar las fechas de AARI que interesarían para cada array de HadISST; también revisaría los mapas de fechas cercanas para detectar zonas que habría que corregir manualmente, como hemos visto con el ejemplo del mar de Kara).

- (Tener calculada la equivalencia en km2 al hielo mostrado en cada mapa.)
 
- Pero... me temo que faltaría un paso previo a todo esto que yo propuse y que tú has llevado a cabo: siguiendo a Meier et al. 2012, a los datos de HadISST de septiembre (anteriores a 1979) les deberíamos restar 900.000 km2. Para hacerlo de forma sistemática, creo que lo mejor sería ir retirando en cada array las zonas de menor concentración: primero las de 0,1, luego 0,2... lo que hiciera falta hasta alcanzar el equivalente a unos 900.000 km2 (creo que con las de 0,1, 0,2 y quizá 0,3 bastaría)  Estos datos de HadISST con 900.000 km2 ya restados son los que realmente deberiamos contrastar con los de AARI (este paso previo creo que valdría para 1953-1978; del 52 para atrás tendríamos que realizarlo con otra metodología algo distinta pero, llegado el caso, eso ya lo iríamos comentando). (Si todo este proceso previo es demasiado complicado, quizá se podría prescindir de él adoptando otro enfoque).

En todo caso, muchísimas gracias otra vez por tu ayuda y por el excelente trabajo que ya has realizado. Con lo que te has currado hasta ahora, desde luego que ya me estás siendo de muchísima ayuda.

Un saludo... y feliz 2015

-----------------------------------------------------------------------------------------------------------------------

PS: añado mapas para que se visualice lo que ha hecho socrates:

-este sería el mapa correspondiente a los datos originales de HadISST para el 16 de septiembre de 1952:



-estos serían los mapas correspondientes a los datos de AARI para el 10 y 15 de septiembre de 1952 en los sectores oriental y occidental respectivamente:





-y este sería el mapa modificado incorporando los datos de AARI en HadISST:



-y esto sería tras retocar los datos manualmente para eliminar el hielo erróneo en Kara:

Buen dato de la banquisa en Diciembre... dato similar a los de 2008 y 2009, y superior a los de 2005, 2006, 2007, 2010, 2011, 2012 y 2013... por tanto, el mejor dato (junto a los de 2008 y 2009) de los ultimos 10 años...

Observando el mapa con la extensión media mensual de diciembre 2014 comparada con la media 1981-2010 para dicho mes, se aprecia que en la mayor parte del Ártico el borde de la banquisa se ha situado muy próximo a la media climática. La principal excepción estaría en el mar de Bering, donde el avance del hielo está resultando más lento de lo habitual (en los últimos meses en esta zona han sido frecuentes las advecciones de aire templado desde el sur, unidas a unas temperaturas oceánicas de partida que al final del verano en la zona estaban claramente por encima de la media):




Si nos movemos al último mapa disponible, del 4 de enero, se observa una situación similar en líneas generales aunque, rompiendo con la tendencia de los últimos meses, el mar de Barents también comienza a acumular cierto déficit respecto a la media 1981-2010 (un hecho probablemente ligado al predominio en las últimas semanas de los vientos del S y SW en la zona):




Esto se ha traducido también en un apreciable parón en los últimos días en la extensión de la banquisa:

   Me reincorporo.
   Efectivamente, con las prisas puse mal el enlace al fichero en C, el correcto es:
https://www.dropbox.com/s/mlmyg95xp3httnl/eatxt.c?dl=0

   Lo del 'autor principal' me ha hecho reir un poco. Yo aquí no hago más que de "calculadora", seré a lo sumo un colaborador, el que sabes eres tú.

   En editar los datos no habría demasiado problema, porque utilizo un fichero de texto intermedio, que se podría modificar con un editor, pasar a hoja de cálculo o cambiar automáticamente si es para unas coordenadas precisas. No sé cómo lo has editado al final, pero como sea más cómodo.

   Para calcular la extensión de hielo, supongo que habría que calcular la extensión en km2 de cada cuadradito de 1º (distinto en cada latitud), y luego aplicarle el porcentaje de hielo. Si hacemos la aproximación de que la Tierra es perfectamente esférica es fácil. Calcularlo sobre un elipsoide, que es un poco más real, habría que ver cómo hacerlo, supongo que la diferencia no sea excesivamente grande. Empiezo a ver cómo hacerlo: Tarea 1.

   Repetir el proceso con los datos de septiembre entre 1935 y 1978, tampoco lo veo excesivamente complicado (solo es un poco largo), es cuestión de sacar las fechas a partir de los nombres de fichero e identificar la posición del array HadISST que corresponde: Tarea 2.
   Lo que veo más complicado es cómo identificar las zonas que habría que corregir manualmente: ¿generar los datos para las fechas cercanas y los revisas tú y luego se editan los datos ? ¿Algún tipo de comparación más o menos automática entre los ficheros de agosto-septiembre-octubre? Tarea 3, que dejo de tu lado de momento.

   Lo de restar zonas de hielo con una concetración baja hasta los 900.000 km2, en principio, lo veo factible, (una vez que tegamos claro cómo calcular la superficie), habría que hacer algunas pruebas a ver cómo sale, por si sirve así, o se busca otro alternativa: Tarea 4. (Me voy a leer el artículo de Meier a ver si me entero de algo).

       Me alegra que esto te haya servido de ayuda, y sobre todo espero que lo sea de mucho más dentro de poco. A ver si entre todos conseguimos un resultado interesante.

      Y ahora que ya nos hemos puesto deberes, ¡Manos a la obra!

No sé cómo lo has editado al final, pero como sea más cómodo.

Lo más fácil me ha resultado con fix ó edit desde R, y generando un nuevo nc con los datos editados.
Pero ya veo que esto de la edición manual sería lo de menos. En su momento le daré una vuelta por si hay coordenadas que se repiten, etc, y vemos la forma más cómoda y práctica de hacerlo.

   Para calcular la extensión de hielo, supongo que habría que calcular la extensión en km2 de cada cuadradito de 1º (distinto en cada latitud), y luego aplicarle el porcentaje de hielo: Tarea 1.

Ojo, no haría falta aplicarle el porcentaje de hielo, porque lo que queremos calcular es la extensión de la banquisa, no su área (es decir, calcularíamos como si todos los cuadraditos con hielo tuvieran el 100% de hielo).

Repetir el proceso con los datos de septiembre entre 1935 y 1978, tampoco lo veo excesivamente complicado (solo es un poco largo), es cuestión de sacar las fechas a partir de los nombres de fichero e identificar la posición del array HadISST que corresponde: Tarea 2.

Un problemilla que veo es que las fechas de los mapas de AARI van cambiando, a veces el mapa de la fecha más cercana al día 16  tiene poca cobertura geográfica mientras el siguiente o el anterior tienen mucha más... etc.
Se me ocurre que te podría preparar una tabla identificando los ficheros de AARI a comparar con cada array de HadISST, algo tal que así:
array789 e19350902.v0.bin w19350916.v0.bin
array801 e19360912.v0.bin w19360909.v0.bin
... etc.
Pero no sé si esto te ayudaría o si es superfluo. Ya me dirás.
 

Lo que veo más complicado es cómo identificar las zonas que habría que corregir manualmente: ¿generar los datos para las fechas cercanas y los revisas tú y luego se editan los datos ? ¿Algún tipo de comparación más o menos automática entre los ficheros de agosto-septiembre-octubre? Tarea 3, que dejo de tu lado de momento.

A mi cuenta. Similar a lo anterior: como los datos de AARI también están colgados como mapas png, puedo irlo comprobando a simple vista.
   

Tarea 4.

Perfecto, probamos y lo vamos viendo.


Muchas gracias otra vez por tu colaboración y, como dices,  a ver si sacamos algo interesante.

Saludos


EDITO: PS: sobre PARATIE ¿sería posible dar a esos cuadraditos la media de las medidas de hielo, aunque sean menos que las de tierra? Me explico: creo que ese parámetro genera los pixeles de hielo que van recorriendo la costa siberiana en prueba993.nc, son cuadraditos que se mantienen de los datos de HadISST al no corresponderles datos de hielo en el fichero intermedio de texto de AARI. Pero en los mapas originales de AARI, la costa aparece libre de hielo... creo que el valor de las medidas de hielo en ese cuadradito será 0, y para eliminar los pixeles erróneos de la costa en prueba993, creo que lo más directo sería, si es posible,  dejar la media de las medidas de hielo de AARI.