Voy comentando por pasos:

-Retirada de 833.000 km2: perfecto! El cálculo es casi exacto (dentro de lo que permite la resolución de los datos), y el aspecto visual de los mapas modificados es también muy satisfactorio. 'septiembres_quita.nc' es OK.


-Comparación con los mapas de AARI: lo comentado en el anterior mensaje: hay un error, y HadISST 1935 se compara con AARI 1936, etc. Habría que solucionarlo para generar el archivo correcto 'septiembres_proc1.nc'


-Cálculo de la media 1953-1978: aquí he notado algo inesperado... Al ver el mapa, me ha sorprendido la alta extensión de la zona marginal a baja concentración. Al tomar los txt con los datos numéricos de extensión, he visto que el valor indicado en el fichero 'exten_media5378.txt' es bastante más alto que la media aritmética de los años 53 a 78 en el fichero 'extent_proc1.txt' (unos 650.000 km2 más alto). Así que me he dicho... algo falla.

He pensado que quizá no deberíamos calcular la media de las concentraciones de cada punto, sino fijarnos en el número de años con presencia de hielo en cada punto... He mirado cómo lo hace el NSIDC, y efectivamente prefieren calcular una mediana: "we computed a median edge for the month using those grid cells for which there is a 50 percent probability of ice occurring at 15 percent concentration or greater. This appears as a pink line in the monthly extent images. Alternatively, we could have computed a climatological edge by averaging the 30 mean concentration fields for that month between 1981 and 2010, and using the 15 percent cutoff in the average concentration image as the climatological edge. However, this method results in an average or mean edge that is unlikely to resemble any typical ice edge, because the location of the edge varies considerably from year to year. The median is a more meaningful representation. "

Eso tendríamos que intentar hacer: si en 1953-1978 un punto es hielo el 50% o más de los años, es hielo. Si es agua más del 50% de los años, es agua.

Y ahora me dirás: "vale, ¿y qué concentración de hielo le pongo a cada punto?" Respuesta quizá inesperada: 100%, porque todas van a ser al 100%... Creo que deberíamos convertir todas las celdas con hielo (>15%) al 100%. (Esto significa simplemente que generaremos datos y mapas de extensión: todas las celdas al 100%, pero con eso indicando simplemente que esas celdas tienen más del 15% de hielo, como en el típico mapa del NSIDC: http://nsidc.org/data/seaice_index/images/n_extn.png ) 

Así que haríamos...
SubPaso 1: tras generar el archivo correcto 'septiembres_proc1.nc' , cambiamos todas las celdas con >15% de hielo a 100% (las que sean <15% las cambiamos a 0, he visto que quedan algunas procedentes de los datos de AARI).
SubPaso 2: calcular la mediana 1953-1978. Si en 1953-1978 un punto es hielo el 50% o más de los años, es hielo. Si es agua más del 50% de los años, es agua.

(Recordar que se trata de que nuestra serie 1935-1978 sea directamente compatible y comparable con la serie 1979-2014 de observaciones por satélites de microondas. En concreto, compatible con la serie de satélite del NSIDC: el Sea Ice Index. La consistencia de las concentraciones a lo largo de toda nuestra serie es dudosa (distintas fuentes...), por lo que la extensión es un valor mucho más seguro. De hecho, incluso en la serie de observaciones por satélite hay inconsistencias de concentración, por lo que a nivel de comparaciones climatológicas en el propio período de los satélites, el NSIDC prefiere usar los datos de extensión. (Incluso, de cara a un muy hipotético proceso de revisión, el ceñirnos a extensión nos quitaría problemas.))


- Sustituir el hemisferio occidental por la media 53-78 en 1935-1952: correcto. Creo que el programa ha funcionado bien, pero lo que haríamos sería usar la mediana que hemos comentado.


-  Cálculo de las extensiones: 


Cualquier comentario, duda, opinión... adelante.

Y lo dicho antes, por supuesto que sin ninguna prisa, cuando puedas y quieras.

Y gracias otra vez por tu imprescindible colaboración,  la verdad es que estás demostrando unas destrezas para la programación, cálculo, manejo de series de datos, etc. que sinceramente creo que son de muuucho nivel.

Saludos!

Tras el parón de principios de año, en los últimos días la extensión de la banquisa ha vuelto a aumentar a un ritmo más rápido. Con el cambio de vientos en Barents y Bering, la banquisa ha dejado de derivar hacia el norte en estas zonas, y la extensión ha podido tirar para arriba.

Al que da penita verlo este año es al Báltico



El Golfo de Finlandia prácticamente sin hielo, en la webcam del puerto de Helsinkise aprecia hielo, pero nada comparado con otros años.

Pues sí, lo del Báltico probablemente tenga que ver con la NAO positiva de los últimos meses:



Hace 5 años, dedicaba esta entrada en mi blog a la relación entre la NAO y el hielo del Báltico: https://diablobanquisa.wordpress.com/2010/03/08/nao-ao-hielo-baltico/

Socrates, comentar un asuntillo...

Tengo dudas... 
Decía que se trataba de crear una serie 1935-1978 directamente compatible con la serie de observaciones por satélite del NSIDC 1979-2014. Pero se me ocurre que  quizá convendría hacerla compatible con la serie de observaciones por satélite del propio HadISST...

Me explico: digo que quizá convendría, porque así los mapas originales 1979-2014  de HadISST serían directamente comparables con nuestros mapas modificados 1935-1978, sin tener que hacer nada más.  Vamos, que todos los mapas 1935-2014 nos quedarían directamente en el mismo fichero nc, todos a 1x1º, formato idéntico, y todos ya consistentes entre sí. Sería muy fácil comparar 2014 con por ejemplo 1952, generar mapas de diferencias, etc.

Ahora bien... tengo dudas, porque los datos de satélite del NSIDC y de HadISST son diferentes... (y los del NSIDC digamos que son la fuente más ampliamente utilizada, con la que todos estamos más familiarizados, la serie de referencia en el mundillo, la que mejor reputación tiene, etc.). A modo de test, he calculado los coeficientes de correlación de la temperatura en el Ártico según GISS (sólo estaciones meteo) con la serie de satélite del NSIDC y la de HadISST. Con el NSIDC, el coeficiente de correlación es de 0.81. Con HadISST, es de 0.71. Así que en principio también apuntaría a una mayor fiabilidad de la serie del NSIDC.

Gráfica para visualizar las diferencias entre las dos series de observaciones por satélite para el mes de septiembre en 1979-2014 (en azul, HadISST: en rojo, el NSIDC):



(HadISST usa una fuente para 1979-1996, y otra para 1997-2014. En este segundo período, es cuando diverge del NSIDC)


En fin, vamos a seguir con el plan establecido. 

(Pero no descarto construir también una versión alternativa ajustada a los datos de satélite de HadISST. Al inicio, habría que retirar 730.000 km2 en lugar de 833.000, y el resto del proceso sería exactamente igual al actual.)

Evolucion de la banquisa desde 1987:

http://www.climate.gov/news-features/videos/old-ice-arctic-vanishingly-rare

https://www.youtube.com/v/FDRnH48LvhQ

He corregido (eso creo) el error que había en proceso1.R, y también está cambiada la forma de calcular el valor medio entre 1953 y 1978. La extensión que da ahora con el nuevo procedimiento ( 7.52 Millones Km2)  está bastante cerca de la media aritmética de la extensión de esos años (7.60 Millones Km2), así que parece más coherente. Como son 26 años, lo que he hecho ha sido tomar como hielo los sectores que tenían hielo en 13 ó más de los años.

El enlace a los resultados, actualizados los ficheros septiembres_proc1.nc, septiembres_media5378.nc y septiembres_proc2.nc , y las extensiones exten_proc1.txt, exten_proc2.txt, exten_media5378.txt:

https://www.dropbox.com/sh/tvswy8mfd8hnzbp/AAB0Nq19dQ96Egn4-lNKs7jCa?dl=0

A ver si ahora hay menos errores.

Por supuesto, si cuando tengamos esto, se puede ayudar en alguna otra cosa , yo encantado.

Muchísimas gracias, socrates!
Voy mirando los resultados, y comentamos.

Bueno, pues esta vez sí. Todo se ha comparado con lo que se tenía que comparar:

- 1953-1978 los veo muy bien: serían ya casi datos definitivos (a falta de un pequeño retoque que luego comento)

- 1935-1952 es otra historia, aquí todavía hay que darle una vuelta (aunque todo el proceso ha salido bien, según lo esperado). 


> Empiezo por un problema común a todo el período 1935-1978 (y que sería el retoque que falta en 1953-1978):

Al hacer la comparativa con AARI ('proc1'), algunas zonas de tierra han pasado a ser océano. En concreto, donde más destaca es en Nueva Zembla. No me importaría, sino fuera porque hay años en los que dicho falso océano aparece con banquisa... Supongo que esto tendrá que ver con PARATIE, y que tenías razón en la necesidad de hacer algo con las celdas que tienen más lecturas de tierra que de océano/hielo. Creo que lo suyo sería convertirlas en NA (no contarían como hielo, y en el mapa asociado serían tierra).
Ahora bien ¿cómo hacemos esto? Opciones que se me ocurren:
a) Volver a PARATIE poniéndolo para que transforme las celdas con más tierra que hielo/océano en NaN. Y repetir los pasos posteriores... 
b) Quizá, comparar los datos de 'proc1' o 'proc2' con los datos originales de HadISST (da igual de qué año), de tal forma que todo lo que sea NA en HadISST pase a ser NA en nuestros ficheros.
c) Corrección más o menos manual de los años que haga falta. 

Como tú eres el técnico  , ya me dirás qué opción te parece mejor, o si se te ocurre alguna otra, o lo que sea.


> Ahora me paso a 1935-1952:
 
  - Correcciones 'manuales': habría que corregir el mar de Kara en 1935, 39, 42, 43, 44, 46, 49, 50, 51 y 52. Corregir el mar de Laptev en 1943 y 1946. Quizá corregir el mar de Chukchi en 1944. Tengo el listado de los ficheros de AARI que respaldan estas correcciones. Pero de momento no digo nada sobre cómo hacerlo.
  - Otras correcciones: al meter la climatología para el hemisferio occidental, nos hemos cargado algunos datos de AARI en el mar de Chukchi. Se me ocurre que sería mejor no llegar hasta los -179.5ºE, sino meter la climatología sólo hasta -170.5ºE.

Ahora bien... Creo que hay una forma de sintetizar estos dos pasos, y de ahorrarnos correcciones y demás. Básicamente, lo que sugería aquí:

Cita de: diablo en Martes 13 Enero 2015 11:26:23 AM

Aunque aún no hemos llegado, comentar que los pasos 4 y 5 se pueden sintetizar en uno solo: tomar el fichero con la media 53-78, comparararlo con los ficheros de AARI indicados en el listado para 1935-1952, y sustituir donde toque cada año.

(Además, al usar como base la media 53-78, reduciríamos mucho la necesidad de ajustes manuales posteriores).

Como la media 53-78 ya lleva Kara libre de hielo, no habría que corregirlo después (parecido con Laptev).
Al comparar directamente la media 53-78 con los mapas de AARI, no tendríamos el problema del mar de Chukchi, los datos de AARI se comerían la media hasta donde tocara en cada caso, sin tener que pensar si aplicamos la climatología hasta -179.5, -170.5 o lo que fuera.


Así pues, se me ocurre la siguiente secuencia general para arreglar todo (1953-1978):

1. Tomar la climatología 1953-1978. Compararla con los ficheros de AARI indicados en el listado para 1935-1952, sustituyendo donde toque cada año. Climatología + AARI 1935 = mapa 1935, etc.
2. Generar un fichero con estos nuevos mapas de 1935-1952, más los mapas de 1953-1978 de 'proc1' o 'proc2'.
3. Tomar el nuevo fichero 35-78, y comparar con un mapa de HadISST original para copiar los puntos NaN en todos los años.
5. Cálculo de extensión.
(6:  Igualar todos los puntos con hielo a 1. Igualar todo el hemisferio sur a NA. Fichero 1935-1978 definitivo, listo)

Ahora bien, como te comentaba con lo de PARATIE, tú verás si hay otro procedimiento que te parezca más fácil, práctico, fiable, mejor... lo que sea. O si lo que yo planteo es imposible, muy difícil, estoy metiendo la pata en algo,  o lo que sea. Cualquier otra sugerencia o comentario también es bienvenido.

Muchas gracias!

Como los datos 1953-2014 son ya muy próximos a los definitivos, voy presentando algunas cosas para que se vea un poco en lo que andamos... (recordar que falta 1935-1952, que será otra historia).

Estos serían nuestros datos 1953-2014:



Comparando con HadISST original (la diferencia a partir de 1997 es porque usamos la serie del NSIDC, que es en base a la que hemos ajustado el período anterior a los satélites):



Y comparando también con HadISST ajustado por Meier et al. 2012:



El ajuste sistemático que hemos hecho nosotros (similar al que hicieron Meier et al.) es en base al período 1972-1978, en el que HadISST se solapa con los satélites ESMR, y suponiendo que dicho ajuste sea también aplicable a 1953-1971. Y parece que básicamente sí que lo es. El incorporar los mapas de AARI entre 1953 y 1971 resta de media otros 105.000 km2 más. No es demasiado. Hay años en los que las observaciones de AARI restan, y otros en los que suman, devolviendo parte de lo quitado en el ajuste sistemático.
(En 1972-78, ya directamente ajustados en base a los satélites ESMR, AARI suma una media de 25.000 km2. Es poquito, y creo que hablaría a favor de la fiabilidad de los datos de AARI).


El año más bajo de la serie 1953-1978 es 1960, con una extensión en septiembre de 6.7 millones de km2 (más alta que cualquier año desde 2002 hasta el presente). Este sería el mapa de 1960, comparando con 2007, 2012 y 2014:




(los mapas no son directamente comparables de forma total, pero están muy cerca de serlo, valen perfectamente para hacerse una idea)


Añado comparativa entre el mapa original de HadISST para septiembre de 1960 (izquierda), y el de nuestra serie (derecha):




Saludos

Dejo también el mapa con la extensión media mensual de septiembre en el período 1953-1978:




Y esta sería la media 1979-2000, usada durante muchos años como referencia:




Y esta es la diferencia entre ambos períodos:




A ver si saco medias por décadas...

Saludos.

Dejo también una gráfica comparando nuestros datos de banquisa para 1953-2014, con la temperatura en el Ártico medida en estaciones meteorológicas según GISS (invertida).

En rojo, la media móvil de 5 años de nuestra serie de la banquisa. En negro, lo mismo para la temperatura invertida. El coeficiente de correlación es de 0.81. R2=0.66:





A ver qué sale cuando estén los datos de 1935-1952, que yo creo que es la parte más interesante y novedosa de la reconstrucción...