Banquisa en el Ártico. (Índice del tópic en el primer post)

Actualización de la sección de noticias y análisis del NSIDC, comentando diciembre en el Ártico, y haciendo también balance general de 2014 para la banquisa ártica y, también, la antártica: http://nsidc.org/arcticseaicenews/2015/01/december-ends/

  He empezado a calcular la extensión de hielo: El área de una esfera entre dos latitudes es    2*pi*R*R*(sin(lat2)-sin(lat1))
  Siendo R el radio de la Tierra.
  Como la Tierra no es perfectamente esférica, para tener en cuenta la forma de la Tierra, se aproxima por un elipsoide, y en lugar de utilizar el valor medio del radio de la Tierra, se puede calcular el radio de curvatura equivalente a cada latitud:
  R= a^2 * b / (a*cos(lat))^2 + (b*sin(lat))^2);
  Siendo a y b los semiejes mayor y menor del elipsoide. Utilizando el elipsoide WGS84 (el de referencia normal en los GPS) los valores son a = 6378.137 Km, y b = 6356.752 Km.
  Los cálculos los hago con el programita extension.R https://www.dropbox.com/s/u50m3wgs5gcn2y4/extension.R?dl=0 , y los resultados están en extension.txt https://www.dropbox.com/s/h4gbik3uczft046/extension.txt?dl=0
  El fichero extension.txt, calculado para todos los datos del fichero HadISST_ice.nc tiene en cada columna año, mes, extensión total en km2, y luego las extensiones de las zonas que tienen hielo pero menos de 0.2, entre 0.2 y menos de 0.3 ... así hasta las que tienen entre 0.8 y menos de 0.9, y por último las que tiene exactamente 1.
  La extensión que sale para septiembre de 1952 es 9.782.080 Km2, 68.000 Km menos que los 9.850.000 Km2 que sería lo correcto. El caso es que he buscado formas de calcular el área de ficheros netcdf y utilizan aproximaciones parecidas o incluso menos precisas. ¿alguna sugerencia?

  También he calculado de los ficheros AARI, cuántos datos tiene cada uno: valores.txt https://www.dropbox.com/s/itfuj22lxwh3c21/valores.txt?dl=0 . No sé si ayudará, pero así se puede ver más fácil cuál es el fichero con más datos cercano a septiembre. También se pueden "fusionar" los ficheros de septiembre: tomar como referencia el más cercano, y comparar con los otros del mes, añadiendo los valores que no estén en el primero. O alguna otra cosa parecida. En cualquier caso, un fichero de texto con los ficheros a tratar finalmente sirve, y mucho.
 
  Cambio el parámetro PARATIE en el fichero c, así ahora tendrá en cuenta cualquier área con datos, independientemente de si tiene más datos de tierra.

  Ahora los próximos objetivos serían: tener la lista de ficheros AARI a tratar para cada año, o bien decidir si se fusionan los datos de los ficheros de alguna forma. La otra cuestión sería el cálculo de la extensión de hielo, si se puede mejorar de alguna forma.

Gran trabajo, socrates!

    La extensión que sale para septiembre de 1952 es 9.782.080 Km2, 68.000 Km menos que los 9.850.000 Km2 que sería lo correcto. El caso es que he buscado formas de calcular el área de ficheros netcdf y utilizan aproximaciones parecidas o incluso menos precisas. ¿alguna sugerencia?

Bueno, el resultado me parece aceptable, la diferencia es de menos de un 1%.
Me han pasado desde el NSIDC los datos de Meier et al. 2012, para 1953-2013: https://diablobanquisa.files.wordpress.com/2015/01/adjustedhadley_and_pm_thru_2013-1-1.xls
Es el valor ajustado, así que para obtener el valor original de los mapas de HadISST de septiembre tendríamos que sumar 900.000 km2 a los valores que aparecen en el fichero. A primera vista, parece que en el resto de años la diferencia entre tu cálculo y el de Meier et al. también se movería en torno a los 60.000 km2. En el fichero indican "Hadley values estimated by Julienne Stroeve from gridded fields" pero no dan ningún otro detalle del procedimiento...
Bueno, si todas las extensiones las calculamos igual, nuestra serie es consistente internamente. Y su diferencia con el cálculo de Meier et al. es de menos del 1%, así que lo veo aceptable.

EDITO: La diferencia media entre tu cálculo y el de Meier et al. es de 63.275 km2 para 1953-1978, y de 66.923 km2 para 1972-1978. Lo que sí que podríamos hacer es modificar el ajuste necesario teniendo en cuenta esta diferencia. Así, no restaríamos 900.000 km2, sino 833.077 km2.

  El fichero extension.txt, calculado para todos los datos del fichero HadISST_ice.nc tiene en cada columna año, mes, extensión total en km2, y luego las extensiones de las zonas que tienen hielo pero menos de 0.2, entre 0.2 y menos de 0.3 ... así hasta las que tienen entre 0.8 y menos de 0.9, y por último las que tiene exactamente 1.

Genial! Esto nos permite estimar qué porcentajes deberíamos eliminar para completar los 900.000 833.077 km2. No he hecho ningún cálculo, pero parece que la extensión de hielo por debajo del 3% se aproxima bastante... Aunque también parece que habría que sumar algunas celdas de entre 3 y 4%... Supongo que lo suyo sería ir restando estas últimas por orden: 0.31 , 0.32 etc hasta llegar a los 900.000. Esto habría que aplicarlo a 1953-1978.

EDITO: no sé si simplemente no se podría programar que vaya retirando los valores más bajos, hasta que sumen 900.000 833.077 km2.

  También he calculado de los ficheros AARI, cuántos datos tiene cada uno: valores.txt https://www.dropbox.com/s/itfuj22lxwh3c21/valores.txt?dl=0 . No sé si ayudará, pero así se puede ver más fácil cuál es el fichero con más datos cercano a septiembre.

De lujo! Estoy revisando los mapas png manualmente para ver qué ficheros utilizar, y en algunos casos ese listado de datos sí que me puede ser de ayuda. También estoy localizando en cada año qué zonas habría que corregir teniendo en cuenta los mapas de fechas cercanas (normalmente es el mar de Kara, que parece que cuando queda libre de hielo dejan de incluirlo en los mapas sucesivos). Espero terminar pronto.

  Cambio el parámetro PARATIE en el fichero c, así ahora tendrá en cuenta cualquier área con datos, independientemente de si tiene más datos de tierra.

Perfecto!

----------------------------------------------------------------------------------------------------------------------------------------------

Bueno, entonces quedamos pendientes de que yo prepare el txt de archivos a tratar. Me pongo con ello cuanto antes.


Ah, y otra cosa que voy adelantando... 
Una vez hecha la retirada de los 900.000 km2 833.077 km2 en 1953-1978 ¿podríamos calcular la media de los mapas de varios años, por ejemplo del período completo 1953-1978, y generar un mapa de dicha media?. 
Por un lado, esto nos permitiría comparar períodos, o décadas. Por otro lado, que sobre todo es por lo que me interesa, así podríamos aplicar una climatología en el sector americano a los años anteriores a 1953...

Me explico: lo de los 900.000 km2 Meier et al. lo aplican hasta 1953. Y ahí acaba su serie.  Antes no se meten, porque son datos de naturaleza ya muy distinta: básicamente, antes del 53 casi todo HadISST en septiembre es interpolación o climatología, no hay datos basados en observaciones reales.
Así pues ¿qué hacemos antes del 53?
-Podríamos aplicar también exactamente 900.000 833.077 km2 y ver qué pasa... No me convence (por la distinta naturaleza de los datos antes del 53)
-Podríamos eliminar simplemente todo lo que esté por debajo de 0.3...  Me convence más (porque la diferencia media con los satélites en 72-78 deja claro que toda la zona marginal por debajo de 0.3 se tiene que ir)
-Podríamos no hacer ajuste previo general: y dejar simplemente que las observaciones de AARI ajusten el sector siberiano, y en el sector americano aplicar la climatología de la que hablaba.

En todo caso, calcular dicha climatología te tocaría a ti... Sería generar un fichero con la media de los septiembres (ya ajustados) 53-78 para el sector americano, y aplicarla a los años anteriores al 53. Ya me dirás si es posible y demás 

Con esto yo creo que ya tendríamos todos los pasos preparados...
Así que por mi parte me pongo manos a la obra con el fichero txt de los archivos a tratar!

Hoy mínimo histórico de la banquisa. Las diferencias son pequeñas en estas épocas pero es cusrioso que despues del aceptable Diciembre estemos hoy así.


media 80's: 14.248
media 90's: 13.807
media 2000: 13.254
2003: 13.607
2004: 13.230
2005: 12.919
2006: 12.873
2007: 12.836
2008: 12.972
2009: 13.128
2010: 12.916
2011: 12.596
2012: 13.120
2013: 12.704
2014: 12.637
2015: 12.585

No se si antes del 2003 hubo algún dato inferior.

Ya está listo el listado de los ficheros a emplear cada año: https://diablobanquisa.files.wordpress.com/2015/01/ficheros-a-emplear-had-vs-aari.xls
Al final casi siempre es la fecha más cercana. En cuanto a las correcciones, me he guardado otro listado. Creo que sólo serán necesarias antes de 1953, casi siempre en el mar de Kara. Sólo quizá algún año aislado después.

Así pues, resumo en orden los pasos que creo que habría que dar:

1. Tomar los arrays de 1953 a 1978 y extraerles 833.077 km2 eliminando las celdas de menor concentración.
2. Tomar los arrays así modificados, y compararlos con los ficheros de AARI indicados en el listado, sustituyendo donde toque.
(STOP: así ya tendríamos los ficheros nc definitivos para 1953-1978, y en este momento yo haría una revisión visual de los mapas por si acaso detectara alguna zona a corregir manualmente, que no creo)
3. Calcular la media 1953-1978, generando un fichero con ella.
4. Tomar los arrays de 1935 a 1952 y compararlos con los ficheros de AARI indicados en el listado, sustituyendo donde toque.
5. Tomar los nuevos ficheros 1935-1952, y sustituir los datos del hemisferio occidental por los de la media 1953-1978.
6. Si es necesario, retocar manualmente las zonas necesarias en 1935-1952 (normalmente Kara).
7. Ya tendríamos los ficheros definitivos 1935-1978: calcular la extensión que corresponde a cada uno.
FIN

Hoy mínimo histórico de la banquisa. Las diferencias son pequeñas en estas épocas pero es cusrioso que despues del aceptable Diciembre estemos hoy así.

Es llamativo sí. No lo he mirado, pero no creo que antes de 2003 haya tampoco ningún dato inferior.
La causa está sobre todo en la escasez de hielo en el mar de Bering.

Ya está listo el listado de los ficheros a emplear cada año: https://diablobanquisa.files.wordpress.com/2015/01/ficheros-a-emplear-had-vs-aari.xls
Al final casi siempre es la fecha más cercana. En cuanto a las correcciones, me he guardado otro listado. Creo que sólo serán necesarias antes de 1953, casi siempre en el mar de Kara. Sólo quizá algún año aislado después.

Así pues, resumo en orden los pasos que creo que habría que dar:

1. Tomar los arrays de 1953 a 1978 y extraerles 833.077 km2 eliminando las celdas de menor concentración.
2. Tomar los arrays así modificados, y compararlos con los ficheros de AARI indicados en el listado, sustituyendo donde toque.
(STOP: así ya tendríamos los ficheros nc definitivos para 1953-1978, y en este momento yo haría una revisión visual de los mapas por si acaso detectara alguna zona a corregir manualmente, que no creo)
3. Calcular la media 1953-1978, generando un fichero con ella.
4. Tomar los arrays de 1935 a 1952 y compararlos con los ficheros de AARI indicados en el listado, sustituyendo donde toque.
5. Tomar los nuevos ficheros 1935-1952, y sustituir los datos del hemisferio occidental por los de la media 1953-1978.
6. Si es necesario, retocar manualmente las zonas necesarias en 1935-1952 (normalmente Kara).
7. Ya tendríamos los ficheros definitivos 1935-1978: calcular la extensión que corresponde a cada uno.
FIN

Voy a hacer una última revisión, a ver si consigo mejorar algo el cálculo de la extensión, y me pongo a trabajar con los ficheros.

Perfecto socrates! Muchas gracias por tu colaboración!

Aunque aún no hemos llegado, comentar que los pasos 4 y 5 se pueden sintetizar en uno solo: tomar el fichero con la media 53-78, comparararlo con los ficheros de AARI indicados en el listado para 1935-1952, y sustituir donde toque cada año.

(Además, al usar como base la media 53-78, reduciríamos mucho la necesidad de ajustes manuales posteriores).

Socrates y Diablo , que buen trabajo que están haciendo , los envidio ( sanamente) , principalmente a socrates , con los programitas  en R , para calcular el área de hielo en cada serie y restar lo que falta o sobra de hielo en cada caso ...  .. si logran terminarlo sería un trabajo, muy solido, replicable ,   y por consiguiente digno de publicar , y no tendría nada que envidiarle a cualquier otro paper de reconstrucción del hielo ártico que andan por la vuelta...

Creo que hablo por todos en decir que , esperamos ansiosos los resultados .. 

Salud.. !!!

 

  He tenido menos tiempo del que pensaba, así que no he podido revisar los cálculos de extensión. Y tampoco he podido revisar mucho los ficheros obtenidos, por lo que, de momento, habrá que tomarlo con mucha precaución.
  Lo primero me hice un fichero netcdf solo con los datos de los meses de septiembre originales de HadISST_ice.nc, porque manejar los datos de todos los meses era lento.
  Programa: septiembre.R, genera el fichero septiembres_orig.nc
  Luego, con el programita quitar.R se revisan los datos correspondientes a los años 1953 al 1978 quitando los 833.077 Km2. Como lo que se manejan son los cuadrados de 1x1 grado, no salen los kilómetros exactos, pero muy aproximadamente. Esto genera el fichero septiembres_quita.nc
  A continuación, el programa proceso1.R lee los datos de septiembre_quita.nc, y sustituye los valores correspondientes de los ficheros AARI que pasó Diablo entre los años 1935 y 1978. Esto genera el fichero septiembres_proc1.nc.
  El programa media.R, toma los datos de este fichero, y calcula la media en cada punto entre 1953 y 1978, y genera el fichero septiembres_media5378.nc. En este caso, cuando el valor de la media está por debajo de 0.15 le he puesto a cero.
  Y luego (de esto estoy menos seguro), el programa proceso2.R, lee los datos de septiembres_proc1.nc, y en las longitudes de 1 a 180, sustituye por el valor correspondiente de la media5378, para los años 1935 a 1952, y genera el fichero septiembres_proc2.nc.
  El programa extensiones.R se le pasa como parametro uno de los ficheros nc, y da las extensiones por años. Los resultados están en los ficheros exten_orig.txt, exten_quita.txt, exten_proc1.txt, exten_media5378.txt y exten_proc2.txt respectivamente para cada fichero nc.
  Bueno, supongo que con las prisas algunas cosas estarán mal, pero se puede ir revisando, y pienso que seremos capaces de corregirlo.
 
  Los ficheros los he dejado en una carpeta de Dropbox:
  https://www.dropbox.com/sh/008841ewrtbewvj/AAAwHeS50FuvVUqorSJNqt8Ya?dl=0

Muchas gracias a los que nos habeis mostrado vuestro apoyo. Aunque el mayor mérito es de Diablo, que es el que sabe de qué va esto, yo solo colaboro en los cálculos. Pero de verdad creo que todos los que participan en este foro pueden sentir el trabajo un poco suyo, porque las distintas opiniones sirven para hacernos pensar más y mantenernos activos.
 

Genial, socrates, muchas gracias por la currada.
Voy a ponerme a revisar los ficheros, y vamos comentando.

Pues la hemos liado... Al ir a comparar con los mapas de AARI (proceso1.R), me temo que el proceso ha comenzado con 1934 en lugar de con 1935, por lo que cada año de 'septiembres_quita.nc' se ha ido comparando con los datos de AARI de un año más tarde... y 1978 con ninguno.

No sé exactamente dónde estará el error... Si le puedes echar un ojo, habría que corregirlo... De todas formas, no te agobies, si no tienes tiempo pues no pasa nada, tampoco hay prisa. Al ritmo que podamos, que ya bastante estás haciendo...

En todo caso, voy a seguir revisando todo, a ver si detecto alguna otra cosa, o saco alguna conclusión que nos pueda ser útil más adelante.

Saludos!