Evaluacion de los modelos climaticos

Y mas allá de los problemas inherentes a cualquier tipo de modelización (interpolación, errores numéricos, etc...), está el propio desconocimiento de la dinámica climática.

Si bien es relativamente complicado modelizar aquello cuyo funcionamiento conocemos bien (por ejemplo, tiro parabólico con resistencia del aire), modelizar algo que no terminamos de comprender es muy dificil.

Y en climatología hay muchos factores que aún se desconocen: efecto del albedo, corrientes marinas, retroalimentaciones varias, etc...

Ahora que ya sabemos como funcionan a groso modo, volvamos con el título del tema.

Hay que evaluar el error de las distribuciones de probabilidad que dan los modelos. Es decir, debemos ser capaces, por medios estadísticos, de indicar si las distribuciones de probabilidad dada por los modelos, son una muestra de la distribución de probabilidades que se deduce del clima. El resultado se debería dar con los métodos habituales de pruebas de ensayo y significación.

Hay dos aspectos que habrá que tener en cuenta. La ventana temporal y la ventana espacial. La ventana será el periodo de tiempo o el tamaño de las zonas, en el cuales tomamos una media de observaciones/predicciones y su correspondiente desviación típica y posiblemente otros parámatros.

Si omitimos los valores espaciales y calculamos la estadístisca global en un periodo de tiempo, es porque asumimos que los modelos no son capaces de dar en esa ventana valores coherentes con las observaciones. Si los aceptamos a un tamaño dado, deben aceptarse las conclusiones de los métodos estadísticos que empleemos de evaluación. Lo que no valdrá es predecir estadísticas de máxima resolucion sin aceptar pruebas estadísticas de esa resolución. Lo mismo se aplica a la ventana temporal.

Se aceptan comentarios y propuestas.

Saludos.

Y, entonces, entiendo, tambien, que el modelo no tiene que correr, necesariamente, dia a dia, hora a hora o més a mes. Supongo que podemos decidir el intervalo de tiempo que querramos. Si los datos medios son anuales, el modelo ¿puede ir a saltos de año en año?.

Los modelos suelen usar  soluciones numericas mas que analiticas, esto es como el clasico ejemplo de hallar el area entre el eje X y una curva dada, puedes o bien calcular la integral, o bien definir rectangulos entre el eje y la curva para el intervalo dado.  Mientras mas estrechos sean estos rectangulos mas se acerca la suma de las areas al area real.

El intervalo de tiempo tipico es del orden de segundos, por eso la modelizacion completa para un siglo tarda mas de un mes.

para saber mas:  busca en google (u otro) el criterio de estabilidad CFL (Courant-Friedrich-Lewy)

Y mas allá de los problemas inherentes a cualquier tipo de modelización (interpolación, errores numéricos, etc...), está el propio desconocimiento de la dinámica climática.

Y en climatología hay muchos factores que aún se desconocen: efecto del albedo, corrientes marinas, retroalimentaciones varias, etc...

Y la evolucion temporal de cada uno e ellos.  Piensese que un cambio del 1% en el albedo terrestre equivale al todo el forzamiento radiativo estimado del CO2.  Luego cambios futuros en el uso del suelo (deforestacion/forestacion), extensiones del hielo maritimo o casquetes polares, etc, tendra un impacto sumamente importante.

Por ejemplo, Si tenemos un fallo pequeño en el albedo del hielo marino esto puede resultar en una disminucion irreal del la extension del hielo, lo que produce un calentamiento del agua expuesta.  Eso seria un feed back positivo producido por un artificio del modelo al no calcular correctamente el albedo del hielo.

Lo que no valdrá es predecir estadísticas de máxima resolucion sin aceptar pruebas estadísticas de esa resolución. Lo mismo se aplica a la ventana temporal.
Se aceptan comentarios y propuestas.
Saludos.

Esto te va a gustar:
http://www.metoffice.gov.uk/climatechange/guide/ukcp/index.html

A la derecha, donde dice " How the climate may change in your region (requires Flash)"

Lo que mas me "gusta" es cuando da las variaciones en la precipitacion, sobre todo teniendo en cuenta las graficas del primer post de este tema sobre variabilidad del la precipitacion en los modelos climaticos

Esto te va a gustar:
http://www.metoffice.gov.uk/climatechange/guide/ukcp/index.html

A la derecha, donde dice " How the climate may change in your region (requires Flash)"

Lo que mas me "gusta" es cuando da las variaciones en la precipitacion, sobre todo teniendo en cuenta las graficas del primer post de este tema sobre variabilidad del la precipitacion en los modelos climaticos

No creo que eso aguante el más mínimo estudio serio. Pero ya que estamos, habrá que preparar una prueba estadística para un conjunto de NxT datos de N sitios en T tiempos. En esa página, al hablar de "in the 50's", se asumen 10 años como ventana temporal.
 

Temperature and humidity biases in global climate models and their impact on climate feedbacks
  V. O. John and B. J. Soden
GEOPHYSICAL RESEARCH LETTERS, VOL. 34, L18704, doi:10.1029/2007GL030429, 2007

Se compara la temperatura y humedad global, en bandas latitudinales, de 16 modelos climaticos (fully coupled ocean-atmosphere climate models) con medidas del AIRS Atmospheric Infrared Sounder, reanalisis del NCEP y analisis del ECMWF.

Los reanalisis se comparan entre 1990 y 1990, AIRS del 2002 al 2006

Aqui los resultados graficos:



Se encuentran diferencias de entre 1 y 4 K en la troposfera, la diferencia en la humedad es del 75%, excediendo el 200% en algunos modelos.

Segun analisis adicionales se concluye que la respuesta de los modelos al calentamiento de la superficie es independiente a los valores iniciales  sobre el estado medio de la temperatura y humedad en la atmosfera.

La conclusion final da a entender que aunque haya variaciones (bias) del 200% en la simulacion actual, eso no afecta a las predicciones del clima futuro.

Notese ademas que el que un modelo no cambie la respuesta (o la tendencia de la respuesta) aunque se modifiquen las condiciones iniciales, eso solo indica que el modelo es fiel a si mismo, no fiel a la realidad.

http://www.co2science.org/articles/V10/N52/EDIT.php
http://www.agu.org/pubs/crossref/2007/2007GL030429.shtml

La Met Office pone de largo sus predicciones regionales:

UK climate effects revealed in finest detail yet

con detallados informes de como sera el clima en el 2080 en regiones del UK con una resolucion de hasta 25 km.

El anuncio se merece algunas respuestas contundentes:

The scientists who present the viewpoint of skillful multi-decadal regional predictions to policymakers are deliberately and dishonestly misinforming the public and policymakers.
R. Pielke Sr.

Dada la capacidad que tienen los modelos para predecir la variabilidad pasada en precipitacion:



o el exito en la simulacion regional de las diferencias en temperatura (o aqui), seria de agradecer que hubiera mas transparencia sobre la metodologia seguida para llegar a tal grado de asombrosa precision, y una aplicacion universal, dada las ventajas indudables que podria tener su uso.

Dicho sea de paso, no es que la capacidad de simular el pasado sea una garantia plena de la destreza predictiva de los modelos para el futuro.

TESTING THE IMPACT OF CLOUDS ON THE RADIATION BUDGETS OF 19 AMIP MODELS

Yo no estoy tan seguro de que la incertidumbre en la retroalimentacion debida al vapor de agua se tenga plenamente en cuenta, y mucho menos la debida la forzamiento radiativo de las nubes (en el articulo enlazado CRF cloud radiative forcing)

Ya sabemos que un modelo atmosferico y un modelo climatico son diferentes, y que esas barras de error iniciales en los primeros pueden hacerse desaparecer por arte de magia con las herramientas estadisticas apropiadas en los segundos, pero no deja de ser preocupante el tratamiento de las nubes que hacen los modelos atmosfericos, que en comparacion con los climaticos, se pueden permitir el lujo de una computacion mas intensa y una resolucion mayor.  Aqui una grafica que muestra como hay errores de mas de 30 Wm^-2 entre los modelos entre si y entre los modelos y los valores de ERBE ( Earth Radiation Budget Experiment ).  En los modelos climaticos las nubes estan peor tratadas que en los atmosfericos a corto plazo, pero si las diferencias son indicativas, el como pueden coincidir en la tendencia climatica es un misterio insondable para mi, o quizas una obra maestra en el arte de ajustar lineas.




caption:Figure 2. (a) The Net CRF biases, relative to ERBE and averaged from 60OS to 60ON, for each of the 19
GCMs.

Fuente: articulo presentado a la conferencia de la American Meteorological Society AMS


AMIP = Atmospheric Model Intercomparison Project

A simple, readable and easy to understand description of the functioning of climate models and their shortcomings:

How Do Climate Models Work?
.

Copio un comentario que puse en otro foro.

Bueno, al fin he consiguido algún dato, aunque sea solo para aclarar el método.

este enlace http://www.itia.ntua.gr/getfile/850/2/documents/2008EGU_ClimatePredictionPr_.pdf es de un excéptico, pero tiene la ventaja de que me da fuentes (que tendré que aprender a usar) y una pequeña tabla ejemplo con lo que quería.



Monthly data             Period Average St, dev Solapamiento
Observed      1899-2007   11,36    5,55      100,00%
CGCM3-A2      1899-2000   10,35    6,19       91,78%
PCM-20C3M     1899-1999    9,40    6,06       86,16%
ECHAM5-20C3M  1899-2007    8,93    5,00       81,34%
CGCM2-A2      1900-2007    9,67    4,15       81,37%
HADCM3-A2     1950-2007    9,67    6,12       87,88%
ECHAM4-GG     1899-2007   11,74    5,94       95,97%
Modelos                    9,96    6,16       89,63%
                                                   
Annual data      Period Average St, dev Solapamiento
Observed      1899-2007   11,36    0,77      100,00%
CGCM3-A2      1899-2000   10,34    0,70       48,67%
PCM-20C3M     1899-1999    9,40    0,71       18,52%
ECHAM5-20C3M  1899-2007    8,94    0,65        8,79%
CGCM2-A2      1900-2007    9,67    0,48       17,02%
CGCM2-A2      1900-1989    9,57    0,41       12,18%
CGCM2-A2      1989-2007   10,17    0,43       30,28%
HADCM3-A2     1950-2007    9,67    0,59       21,14%
HADCM3-A2     1950-1989    9,49    0,54       15,04%
HADCM3-A2     1989-2007   10,02    0,56       30,79%
ECHAM4-GG     1899-2007   11,74    0,70       79,27%
ECHAM4-GG     1899-1989   11,58    0,59       82,80%
ECHAM4-GG     1989-2007   12,50    0,69       43,38%
Modelos                   10,26    0,62       42,46%
                                                   
30yr             Period Average St, dev Solapamiento
Observed      1899-2007    0,00    0,46      100,00%
CGCM3-A2      1899-2000    0,00    0,32       82,63%
PCM-20C3M     1899-1999    0,00    0,14       48,33%
ECHAM5-20C3M  1899-2007    0,00    0,06       25,12%
CGCM2-A2      1900-2007    0,00    0,20       61,86%
HADCM3-A2     1950-2007    0,00    0,12       43,17%
ECHAM4-GG     1899-2007    0,00    0,19       59,78%
Modelos                    0,00    0,21       63,46%

No voy a usar la probabilidad de que simultánemente se den unos valores. No se adapta bien al no fijar probabilidades a rangos de temperatura. Además, creo que sería exigirle demasiado a los modelos.

El método que he usado es suponer una distribución normal, para los datos observados y para las simulaciones. La intersección de las dos curvas normales es la probabilidad de que ambas distribuciones sean la misma. Esa probabilidad la indico con la cabecera solapamiento

Para calcular el solapamiento me he hecho una macro en excel. Me he ayudado con mapple para las soluciones a los puntos de intersección. Si alguno la quiere, no tiene más que pedira.

En la fila que pone modelos, se usa el conjunto total de los modelos presentado y compara la distribuciòn total de modelos con la distribución observada.

La conclusión parece contradecir el documento, pero no es así.  Aunque el pdf indica que realmente no existe correlación (no tengo los datos de las series) no importa demasiado. Lo que sí importa es la sensibilidad que se le pide al modelo.

El dato

Observed   1899-2007   11,36   5,55   100,00%
Modelos                             9,96    6,16       89,63%

Aparenta ser muy bueno. En realidad no lo es.

Los modelos predicen 4ºC de calentamiento por siglo. Ello son 4/(273.15+15)=1,39% de variación de temperatura absoluta que requiere un 98.61% de sensibilidad mínima!.

sumando y restando ese 1,39% a las temperaturas medias predichas, el solapamiento es, para el primer estudio:


        Sensibilidad                     
               1,39%   98,61%             
                                         
               Media Desv std solapamiento
+1.39%         10,10     6,16       90,46%
-1.39%          9,82     6,16       88,78%
exacta         11,36     6,16       94,92%
14,06%                                   

Donde se ve que ni siquiera prediciendo la temperatura exacta, se llega a la precisión deseada. El modelo tiene un 14% de error en la temperatura (en esa localización).

En la segunda sale

+1.39%  10,40 0,62 48,56%
-1.39%  10,12 0,62 36,81%
exacta  11,36 0,62 89,78%
10,75%                   


Y en la tercera, aún poniendo que son las mismas tenperaturas (he puesto 0ºk, pero el método es independiente de la escala y traslación) sale:


+1.39%   0,01388 0,21 63,43%
-1.39%  -0,01388 0,21 63,43%
exacta         0 0,21 63,46%


En este caso, sólo hay un 63,4% de probabilidades de que sea la misma distribución. Ello es debido, a pesar de suponer la misma temperatura, a que la varianza natural dobla la de los modelos.

A ver si consigo hacerlo para un conjunto más amplio de datos.

Saludos.

El código para excel 2007

Se trata de dadas distribuciones con medias m1 y m2, y desviaciones típicas s1 y s2, obtener la probabilidad de que ambas distribuciones sea la misma.

La ponesis en un módulo module1 aparte de la hoja y se la llama en la hoja simplemente con

=prob(ref1,ref2,ref3,ref4)

donde ref1 es la celda de la primera media, ref2 es la celda con la primera desviacion, ref3 es la celda con la segunda media y ref4 la celda con la segunda desviación típica.

Function Ln(x)
Ln = Application.WorksheetFunction.Ln(x)
End Function

Function Normal(x, m, s)
Normal = Application.WorksheetFunction.NormDist(x, m, s, True)
End Function

Function prob(m1, s1, m2, s2)
' Calcula la intersección de dos distribuciones normales
' Primero calcula los puntos de intersección
' hay dos casos
' si las desviaciones típicas son iguales, sólo hay un punto
' si son distintas, hay dos
'
' luego se calcularán las áreas correspondientes con la distribución normal acumulada
' cuidando de elegir la de menor altura en cada caso
'
' en s1 debe estar el de menor desviación típica
'
If s2 < s1 Then
   tmp = s1
   s1 = s2
   s2 = tmp
   tmp = m1
   m1 = m2
   m2 = tmp
End If
   
'
' si son varianzas iguales
' en m1 debe estar la de menor media
'
If s1 = s2 Then
   'x1 = -100 '-infinito
   x2 = (m1 + m2) / 2
   p1 = 0
   If m2 < m1 Then
     tmp = m1
     m1 = m2
     m2 = tmp
   End If
   ' no hay intersección por la izquierda
   p1 = 0
   ' p2 de -infinito a x2 sobre la de mayor media
   p2 = Normal(x2, m2, s2)
   ' p3 de x2 a infinito sobre la de menor media
   p3 = 1 - Normal(x2, m1, s1)
Else
   ' Realizado con mapple y simplificado. Es una ecuación de 2º grado
   b = s1 ^ 2 * m2 - s2 ^ 2 * m1
   d = s1 * s2 * Sqr((m1 - m2) ^ 2 + 2 * (s1 ^ 2 * Ln(s1 / s2) + s2 ^ 2 * Ln(s2 / s1)))
   x1 = (-b - d) / (s2 ^ 2 - s1 ^ 2)
   x2 = (-b + d) / (s2 ^ 2 - s1 ^ 2)
   ' p1 por la más estrecha, o sea la de menor varianza de -infinito a x1
   p1 = Normal(x1, m1, s1)
   ' p2 por la mas ancha, o sea por la de mayor varizanza de x1 a x2
   p2 = Normal(x2, m2, s2) - Normal(x1, m2, s2)
   ' p3 por la más estrecha o sea la de menor varianza de x2 a infinito
   p3 = 1 - Normal(x2, m1, s1)
End If
prob = p1 + p2 + p3
End Function

No me aclaro, me resulta imposible obtener una serie de datos de temeratura global. Sí consigo las medidas por satélite o por estaciones, pero de modelos, no hay forma.

Lo mejor que he encontrado está en http://aom.giss.nasa.gov/ pero aún no logro hacerme con datos. Pero parece que lo conseguiré.

________________________________________________________________

Otra cosa que quería comentar.

LOS AJUSTES DESCARADOS DE LOS MODELOS.

En http://www.meteo.unican.es/courses/2007_cursoRegionalizacion_files/2_1_Castro.pdf se explica bastante bien el tema de los modelos, pero me encuentro con esta imagen:



Me recuerda al ejemplo:

dada la serie 1, 4, 9, 16, ¿cuál es el siguiente término?.
Si no quieres poner 25, que sería la respuesta más habitual, pero no por ello la única, o bien la sucesión no es trivial,
la respuesta siempre puede ser: “Muy sencillo, debe ser 1969. Te lo demuestro a continuación”

Podría ser 1960, 0, -200, o lo que nos de la gana. Y no sólo con el siguiente, sino cuantos datos queramos.

Pongo cómo se hace en el enlace adjunto. http://www.2shared.com/file/6829862/15e40388/siempre_es_el_ao_de_nacimiento.html

¿Qué es lo que quiero decir?. Muy sencillo. Dada una serie de datos, siempre se puede encontrar una función matemática (un polinomio) que pase por esos datos.

¿Por qué lo digo?. Por que en la imagen se ve que es descarado que se ajusta el modelo para que pase por los datos conocidos, en concreto, desde 1900 a 2000. La divergencia hacia adelante muestran que son funciones diferentes, pero que pasan por el conjunto de datos conocidos, haciendonos creer que los modelos se ajustan bien. Habría que ver si hacia el pasado cuadran todas juntintas, lo que indicaría otra vez que se hace trampa. Pero es todo un TRUCO MATEMÁTICO, como se puede demostrar.


Ya me extrañaba a mí que lo que me salía en el post anterior. Claro!, si la mayor parte de la serie está trucada para encajar con lo observado. Pero justo la primera decáda, zas, fallan todos a la vez.

Lo realmente descarado es la precisión del ajuste de nada menos que 100 años. Ni el clima real de la tierra, lo haría mejor!. Veamos, se desvían 0.1ºC en 100 años...a ver eso son 0.1/(273.15+15)=0,03470% y la desviación típica entre modelos? 0!.

Es la ciencia más precisa que hayamos tenido. Partimos de un modelo caótico, con incertidumbres, con modelos distintos. Aplicamos modelos estadístocos por ello, y describe con una precisión del 99.97% la temperatura. Vamos anda!.


Un saludo.