Modulo 1

Tema 5

EVALUACION DE MODELOS

Fernando Martín Llorente

Doctor en Ciencias Físicas
CIEMAT
Jefe de la Unidad de Contaminación Atmosférica
División de Tecnologías Ambientales
Departamento de Medio Ambiente
RESUMEN

En la presente lección se explican los procedimientos más habituales para comprobar

la bondad de los resultados de un modelo, tanto técnicas estadísticas como técnicas
gráficas. Posteriormente, se discuten las posibles fuentes de error de los modelos, lo que
nos ayudará a entender porqué un modelo puede no ajustarse todo lo bien que
quisiéramos a lo observado en la realidad. Por último, se exponen los factores que se
han de tener en cuenta a la hora de seleccionar un modelo según el tipo de aplicación
que se desee hacer.

INDICE

1. INTRODUCCIÓN
2. TECNICAS DE EVALUACION DE MODELOS
3. FUENTES DE ERROR EN LOS MODELOS
4. REFERENCIAS
1. INTRODUCCIÓN

El objeto de esta lección es responder a la pregunta: ¿son fiables los resultados de

los modelos?. Esto implica saber cómo podemos verificar o comprobar la bondad de los
resultados de nuestros modelos y conocer cuales son las fuentes de error de los modelos.
Con esta lección, trataremos las herramientas más habituales para comprobar la calidad
de los modelos.

2. TECNICAS DE EVALUACION DE MODELOS

Con la evaluación, se busca comprobar la calidad del modelo a la hora de simular los
procesos observados reales. Para ello, se ha de disponer de datos experimentales
obtenidos, bien por redes de medida fijas o por campañas de medida específicas, y de
información de test determinados que implican soluciones analíticas conocidas de
versiones simplificadas de las ecuaciones en las que se fundamenta el modelo. Podemos
considerar tres subfases:

• Calibración. Proceso de ajuste de determinados parámetros del modelo para

obtener la máxima igualdad entre lo observado (medidas de campo o test) y lo simulado
(resultados del modelo).
• Verificación. Proceso de determinar cuándo un modelo de simulación es una
representación precisa (correcta) del sistema real objeto de estudio. Se precisa de un
conjunto de datos experimentales extenso (campañas experimentales) en la zona objeto
de modelado.
• Validación. Proceso de determinar hasta dónde se puede extrapolar la aplicación
del modelo y en consecuencia sus resultados, frente a un cambio de las condiciones
básicas del sistema estudiado o considerado. Necesita un extenso volumen de datos
experimentales cubriendo diversos escenarios (meteorológicos, geográficos, emisiones,
etc.).

En todas estas fases, se han de utilizar técnicas para comparar los resultados de los
modelos con los datos observados medidos. Estas técnicas pueden gráficas y
estadísticas.

Técnicas gráficas.

Entre las técnicas gráficas podemos mencionar:

1. Análisis gráfico de los residuos (Datos observados – Datos predichos). Esto

puede realizarse analizando la evolución temporal de los mismos en un diagrama de
residuos frente a tiempo, lo que permitiría determinar en que circunstancias el
modelo se ajusta mejor a la realidad. En esta curva puede haber instantes con
residuos positivos (subpredicción) y otras con residuos negativos (sobrepredicción).
Por ejemplo, en una secuencia temporal de residuos (relativo a la concentración de
un contaminante determinado en una ciudad) a lo largo de una semana podríamos
encontrar que los residuos son menores en los días laborables que en los días
festivos. Esto podría indicar una mala estimación de las emisiones de contaminantes
en los días festivos.

1
También se puede estudiar la distribución espacial de los residuos en la zona de
estudio. El análisis de estas distribuciones también puede aportar información sobre
que proceso no esta siendo bien simulado por el modelo.

2. Scatter-plots de predicciones frente a observaciones. Esto permite determinar en

rangos de valores de concentración el modelo ofrece un ajuste mejor (figura 1). Un
modelo enfocado a la predicción de superación de niveles de calidad del aire ha de
proporcionar buenos resultados en concentraciones altas.

Scatter Plot
Obs vs Pred
Obs = 0.61 * pred + 1.79
R=2
18 R=1

16

14

12
Observación

10
R=0.5
8

0
0 2 4 6 8 10 12 14 16 18
Predicción

Figura 1. Ejemplo de scatter-plot. Se representan una nube de puntos

correspondientes a los pares de predicción y observación junto con la recta de
ajuste (regresión lineal) y unas rectas de referencia indicando la predicción
perfecta (recta de pendiente 1 y término independiente 0), sobrepredicción en un
factor 2 (recta de pendiente 0.5 y término independiente 0) y subpredicción en
un factor 2 (recta de pendiente 2 y término independiente 0). Lo ideal sería una
nube de puntos alargada alrededor de la recta de predicción perfecta y con poca
dispersión. En este ejemplo, se muestra un caso con cierta tendencia a la
sobrepredicción para valores mayores de 4 y subpredicción para los menores.

3. Gráficas de predicción y observación en el tiempo y en el espacio. Permite

comparar evoluciones temporales predichas y observadas en puntos concretos (ver
figura 2).

2
 Día 6 de febrero de 1995 (DJ=37)
250

200
Concentración de SO2 (ug/m3)

150

100

50

ME_OB_AY
0
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 ME_CA_AY
Hora

Figura 2. Ejemplo de gráfica de predicción (rojo) y observación (azul) en el

tiempo de concentraciones de SO2 en un episodio en Madrid en los años 90. El
modelo muestra un ajuste razonablemente bueno con lo observado entre las
05:00 y las 16 horas, subprediciendo ligeramente el pico matinal pero
coincidiendo en tiempo. Sin embargo la evolución del final del día es muy
diferente a la observada. Esto puede indicar que el ciclo diario de emisiones no
está bien caracterizado al final del día o que el modelo meteorológico no está
reproduciendo de forma adecuada las condiciones de estabilidad atmosférica a
esas horas.

El análisis de distribuciones espaciales predichas y observadas es más difícil que

pueda realizarse ya que para ello sería necesario una densa red de estaciones de
medida que permitiera estimar distribuciones espaciales observadas equiparables
a las que proporciona un modelo.

Técnicas estadísticas

Pueden utilizarse también técnicas estadísticas aplicadas a:

3
 1. Residuos.
Estadistico Fórmula Interpretación
Bias medio, MB 1 N
(
MB = ∑ Co − C p
N 1
) = 0 ( OK)
> 0 (subpredicción)
< 0 (sobrepredicción)

∑ (Co − C p )
Bias medio N = 0 ( OK)
normalizado, > 0 (subpredicción)
NMB NMB = 1 < 0 (sobrepredicción)
N
∑ Co >1 (subpredicción muy importante)
1 < -1 (sobrepredicción muy importante)
Error cuadrático 2 = 0 ( OK)
medio, RMSE RMSE =
1 N
N 1
(
∑ Co − C p ) Cuanto mayor sea, peor es la
predicción.

( )
Error cuadrático N = 0 ( OK)
nomalizado, ∑ Co − C p 2 Cuanto mayor sea, peor es la
NMSE NMSE = 1 predicción.
N
∑ Co C p
1

( )
Error N = 0 ( OK)
nomalizado, ∑ Co − C p Cuanto mayor sea, peor es la
NME NMSE = 1 predicción.
N
∑ Co
1

2. Predicciones y observaciones.
ƒ Coeficientes de correlación para medir el grado de correspondencia entre
ambas.
∑(( C o - C o )( C p - C p ))
r=
( ∑( C o - C o )2 ∑( C p - C p )2 )1/2

Si r= 1 => correlación absoluta

4
 Si r= -1 => anticorrelación absoluta

Si r=0 => no correlación

ƒ Estadísticos aplicados a los cocientes (R) entre observación y predicción

con objeto de detectar sobre y subpredicciones y su importancia. Esto
puede aplicar a distintos rangos de concentración de contaminantes con
objeto de detectar en qué rango el modelo funciona mejor o peor.
o Media geométrica de R ("Geometric Mean Bias")
Co
MG = exp( Ln C o - Ln C p ) = exp( Ln )
Cp
Si MG>1, subpredicción
Si MG<1, sobrepredicción
S MG=1, OK

o Varianza media geométrica de R

VG = exp ( Ln C o - Ln C p )2 = exp Ln( C o / C p )2
Mide el grado de dispersión de los valores de R.

o Fracción de datos dentro de factor 2 (FAC2),

0.5 ≤ R ≤ 2.0

Cuanto mayor sea el número de casos que caen en ese rango frente a
los posibles mejor.

5
Otras técnicas y estadísticos

En el anexo I del capitulo 4 elaborado por J.M. Baldasano y P. Jiménez del

DOCUMENTO SOBRE LOS TEMAS TRATADOS POR EL GRUPO DE TRABAJO
V MODELIZACION DE LA CALIDAD DEL AIRE PARA EL V SEMINARIO
SOBRE LA CALIDAD DEL AIRE EN ESPAÑA (Ministerio de Medio Ambiente,
2006) se muestra un recopilación de técnicas y estadísticos más actuales utilizados y
recomendados para evaluar modelos de calidad del aire. A continuación se muestra un
extracto del mismo.

1. La US Environmental Protection Agency (US EPA, 1991; 2005) ha desarrollado

una serie de directrices para el uso de una serie de medidas estadísticas en
evaluación de modelos para aquellas zonas donde los datos de monitorización
son suficientemente densos. Estas medidas son:

ESTADISTICO DEFINICION
1 {Cp ( x i , t ) − C o ( x i , t )}
N
D= ∑ ,
Bias normalizado (D), N i=1 Co ( x i , t)
t=1,24
1 N Cp ( x i , t) − Co ( x i , t )
Error relativo normalizado para concentraciones Ed = ∑ ,
por encima de un umbral prescrito (Ed) N i=1 Co (x i , t)
t=1,24
C p ( x, t )max − C o ( x' , t' )max
Exactitud en la predicción del pico (Au) Au = × 100
C o ( x' , t' )max

donde N es el número de estaciones de monitorización, Co(xi,t) el valor

observado en la estación de medida i para la hora t, Cp(xi,t) el valor predicho en
la estación i para la hora t, Co(x’,t’)max es la observación máxima horaria en
todas las estaciones de medida y Cp(x,t)max representa la concentración máxima
horaria predicha por el modelo en todo el dominio de simulación. La US EPA
establece, en el caso de ozono, un umbral de 60 ppb (120 µg/m3) para el cálculo
de Ed. Sin embargo, este umbral puede variar en función del caso en estudio.

2. Por otro lado, Kang et al. (2003, 2004) y Eder et al. (2006), dentro del programa
piloto de Previsión de la Calidad del Aire de la National Oceanic and
Atmospheric Administration (NOAA), desarrollaron e implementaron un
protocolo de evaluación de modelos de calidad del aire. Dentro de dicho
protocolo, se identificaron una serie de parámetros estadísticos para facilitar la
evaluación tanto de las previsiones discretas (concentraciones observadas versus
simuladas) como de las previsiones categóricas (superaciones / no superaciones
observadas versus simuladas).

Previsión discreta

6
 Para la previsión discreta se emplean dos medidas de bias (bias medio, MB, y
bias medio normalizado, NMB) y dos medidas del error (error cuadrático medio
normalizado, RMSE, y error medio normalizado, NME):

Previsión categórica

Para la previsión categórica se calculan los estadísticos exactitud (A), bias (B),
probabilidad de detección (POD), ratio de falsas alarmas (FAR) e índice crítico
de éxito (CSI) basado en las superaciones observadas de los valores límite o
valores estandar de calidad del aire, las no- superaciones versus las superaciones
previstas por el modelo. Si llamamos a: previsión de una superación que no
ocurrió; b: previsión de una superación que ocurrió; c: previsión de una no-
superación que no ocurrió; y d: no-previsión de una superación que ocurrió,
podemos definir los parámetros anteriormente citados como:

⎛ b+c ⎞ Indica el porcentaje de resultados del

A =⎜ ⎟ × 100% modelo que predijeron una superación o
⎝ a + b + c + d⎠ una no superacion.
⎛ b ⎞ Medida de la bondad en la previsión de
CSI = ⎜ ⎟ × 100% superaciones, sin tener en cuenta el acierto
⎝ a + b + d⎠ en la previsión de no superaciones
⎛ b ⎞ Mide el número de veces que un modelo
POD = ⎜ ⎟ × 100% predijo una superación cuando tal
⎝b + d⎠ superación ocurrió realmente
Indican si las superaciones diagnosticadas
⎛a+b⎞ por el modelo se encuentran por debajo
B=⎜ ⎟
⎝b + d⎠ (B<1) o por encima (B>1) de los valores
medidos
⎛ a ⎞ Representa el número de veces que el
FAR = ⎜ ⎟ × 100% modelo predijo una superación que no
⎝a+b⎠ ocurrió.

Consideraciones

Siempre se considera como referencia los datos medidos u observados. Sin

embargo, estos datos medidos también tienen una incertidumbre asociada debida a la
precisión de los dispositivos de medida y a la representatividad de la medida.

Los equipos de medida tienen un error tanto mayor cuanto peor sea la calidad del
equipo y el mantenimiento del mismo. Las directivas europeas y la legislación española
exigen unos mínimos de calidad de las mediciones según cada contaminante, por
ejemplo, para las mediciones de SO2, NOx, y NO2 se exige una exactitud mínima del
15% y para partículas y plomo, un 25%.

Además, las estaciones de medida pueden tener una representatividad espacial

limitada. Por ejemplo, una estación de medida situada junto una calle de una ciudad
sólo podrá representar a esa calle o un tramo de esta y, en todo caso, puede representar a

7
calles de esa ciudad con similar tráfico, pero no podrá ser representativa de toda la
ciudad. Sin embargo, los modelos proporcionan predicciones a una escala espacial y
temporal que viene determinada por el paso temporal de promediado y por el tamaño de
las celdas de la malla de cálculo. Un modelo que proporcione resultados en celdas de
1x1 Km debe ser comparado con mediciones de una representatividad espacial igual o
superior.

3. FUENTES DE ERROR EN LOS MODELOS

La aplicación de los estadísticos hasta ahora expuestos nos va a proporcionar

información para poder analizar o evaluar la calidad de los resultados del modelo. Sin
embargo, para hacer esto de forma correcta debemos conocer las fuentes posibles de
error o incertidumbre en nuestro modelo.

Según Ermak y Merry (1988), se pueden considerar tres tipos de errores:

1. Irreducibles o limitados por el estado actual del conocimiento, que surgen de la

imposibilidad de conocer y, por tanto, controlar todas las variables que actúan en la
especificación del valor real de la variable que se mide o predice en un lugar e instante
determinados. Es decir, una vez planteado el modelo con una serie de variables de
entrada (relativas a las distintas aproximaciones físicas que se puedan usar en el
planteamiento del modelo), todavía quedarán otras que se desconoce su influencia y no
se pueden tener en cuenta. En teoría, cuanto más profundo sea el conocimiento del
fenómeno más completa podrá ser la especificación de variables de entrada y menos
serán las variables desconocidas que influyen en él. Luego, en cierto modo estos
errores pueden ser reducibles en el momento que se conozca más detalladamente el
fenómeno a modelar.

2. Inherentes, que vienen dictados por el carácter aleatorio de la turbulencia

atmosférica, que pudiera influir en los límites de predictibilidad de los modelos. La
magnitud de este error depende mucho de los tiempos de muestreo y de promediados.
Los modelos con cierre de orden alto para la turbulencia pueden predecir su magnitud.
Estimaciones de su valor lo sitúan en aproximadamente el valor de la variable a
predecir (en este caso la concentración) (Hanna y Drivas, 1987).

3. Reducibles, causados por:

• incertidumbres en los valores de las variables de entrada del modelo (por ejemplo,
incertidumbres en los datos meteorológicos o de emisión),
• errores en las concentraciones medidas utilizadas para el cálculo de residuos de
predicción,
• una formulación y física del modelo inadecuadas (por ejemplo, una simplificación
excesiva).
Generalmente, estos fallos en la formulación y física del modelo causan errores
sistemáticos. Estos errores se pueden reducir con mejores medidas y una mejor
formulación del modelo. El aumentar el número de parámetros utilizados en el modelo
surge de una formulación física más detallada. El aumento de parámetros hará

8
 disminuir el error de modelización, pero aumentará a su vez el error por imprecisión en
los datos de entrada (ver figura 3) (Hanna y Drivas, 1987; Hanna, 1988).

Figura 3. Distintos tipos de incertidumbre de un modelo en función de la complejidad

(número de parámetros) del modelo.

Las estimaciones de la precisión del modelo están basadas a menudo en tests

estadísticos que no permiten distinguir entre los diversos elementos de error. Por lo que en
general, las discusiones sobre la precisión del modelo no hacen distinción entre las
limitaciones del modelo frente a las de la base de datos y la incertidumbre por la
variabilidad atmosférica. Por ello es importante desarrollar métodos que separen los
errores sistemáticos de los errores accidentales introducidos por los parámetros del modelo
y por los datos de entrada.

Concretando, las causas de errores o de incertidumbres en los modelos pueden ser:

1. La no consideración de ciertos fenómenos (por ejemplo, no considerar las

reacciones químicas cuando el contaminante es claramente reactivo).

2. La no idoneidad de las parametrizaciones utilizadas para representar

dentro del modelo algunos fenómenos específicos. En el caso de las

9
parametrizaciones de la turbulencia atmosférica que, como resultado del carácter
marcadamente aleatorio de la turbulencia, no se ha conseguido desarrollar
ninguna parametrización totalmente satisfactoria, que no sean las técnicas
avanzadas de mecánicas de fluidos computacional (Large Eddy Simulation –
LES- o Direct Numerical Simulation –DNS-) que requieren una potencia de
cálculo extraordinaria. Todos los modelos deben simplificar de alguna forma los
procesos de difusión atmosférica y siempre existe una cierta idealización del
fenómeno. Además, en algunos casos se han desarrollado parametrizaciones
partiendo de unas circunstancias tan específicas que no son aplicables a todos
los emplazamientos (es decir, no son parametrizaciones universales). Por
ejemplo, los parámetros de Pasquill-Gifford se derivaron para fuentes con
emisiones al nivel del suelo, sobre terreno más o menos llano, mientras que los
parámetros formulados en el experimento de Brookhaven son apropiados para
emisiones altas sobre un suelo rugoso. Las concentraciones que predicen unos y
otros modelos Gaussianos pueden ser muy diferentes y el uso indiscriminado de
estos parámetros puede conducir a error. Existen otros procesos difíciles de
parametrizar relacionados con la turbulencia y dispersión atmosférica: la
estabilidad atmosférica, la altura de la capa de mezcla, la sobre-elevación de
emisiones superficiales y puntuales, etc.

3. Mal uso del modelo. A veces el usuario utiliza el modelo para simular la
dispersión de contaminantes en unas condiciones para las que no ha sido
desarrollado el modelo. Algunos modelos incluyen una serie de suposiciones que
no se especifican claramente en los informes y manuales, lo que dan lugar a un mal
uso del mismo. Por ejemplo, el modelo Gaussiano supone que la velocidad vertical
es cero lo cual es correcto para períodos medios largos sobre terreno llano pero esta
suposición no es correcta para períodos cortos o cerca de las colinas.

Se hace necesario conocer el marco de uso del modelo u sus límites de

aplicación. Para ello, junto con el modelo, se ha de disponer de una correcta y
completa documentación explicatoria, que permita conocer los procesos que
tiene en consideración y en que forma los mismos han sido formulados,
especificación correcta de los datos de entrada y sus rangos, etc.

4. Imprecisiones propias de los métodos numéricos de resolución:

ƒ Difusión numérica. Surge en el proceso de resolución de la ecuación de

advección difusión por diferencias finitas. Esta difusión numérica se
superpone a la difusión real (turbulencia). Otros métodos de resolución
numérica como los de desarrollo en serie no tienen este problema.
ƒ Truncamiento. Esto ocurre cuando una variable se representa como una
serie de funciones con menos términos que los necesarios.
ƒ Redondeo. Surge porque no se puede trabajar con número infinito de
decimales, por lo que a partir de un determinado decimal se redondea. Al
operar con números redondeados este error se propaga y crece.
ƒ Aliasing. Surge por una discretización incorrecta de una variable, lo que
podría falsear su verdadera evolución en el tiempo.

10
ƒ Mala relación entre la resolución del modelo y la escala del fenómeno a
simular. Las soluciones de los modelos numéricos se deterioran
rápidamente cuando la escala espacial del fenómeno a modelar se aproxima
a la resolución de la celda. Debido al hecho de que los penachos o
bocanadas de contaminante en el momento de su emisión tienen tamaños
menores que las dimensiones de las celdas utilizadas en los modelos
numéricos, los métodos de diferencias finitas se pueden aplicar únicamente
una vez que estos penachos o bocanadas hayan crecido lo suficientemente
como para que tengan un tamaño resoluble. Cuando estas fuentes se
incluyen directamente en el sistema de malla numérico, las concentraciones
resultantes representan erróneamente valores medios del volumen de la
celda. Este proceso produce errores considerables a cortas distancias por
imprecisión en la dirección del viento (Karamchandani y Peters, 1983).
Para reducir este tipo de errores, se han utilizado subsistemas de malla con
más resolución alrededor de la fuente (Bornstein y Runca, 1977). Sin
embargo, esta técnica puede ser cara y lenta cuando se tienen muchas
fuentes. Otra alternativa sería utilizar los modelos híbridos, estos modelos
siguen el trayecto del contaminante por métodos Lagrangianos en las
primeras etapas de la difusión y, cuando éste se ha difundido
suficientemente, se trata en el marco Euleriano (Seigneur et al., 1982). Por
lo tanto, es necesario un examen de la estructura del modelo incluyendo la
precisión del marco matemático, como se han considerado los fenómenos
físicos y químicos en el modelo, el realismo con que el modelo representa
los procesos físicos, etc.

11
5. Imprecisiones en los datos de entrada. Los resultados que obtiene un
modelo nunca pueden ser mejores que la calidad de los datos de entrada que se
utilizan, por lo que no podemos exigir que modelo prediga con precisión mayor
que aquella con la que se miden los datos reales. En general, cualquier modelo de
calidad del aire requiere tres tipos de datos de entrada: datos de emisión e inmisión,
datos meteorológicos, y parámetros geográficos. Estos errores pueden tener su
origen en los instrumentos y medidas o bien a los cálculos que se hacen para
obtenerlos. Es necesaria una evaluación de la calidad de los datos de entrada del
modelo y de los datos de concentración utilizados tanto para inicializar el modelo
como para comparación.

Los datos de emisiones pueden tener errores en el emplazamiento de los focos,

en los parámetros de chimenea, en los cálculos que hay que hacer en ocasiones
para determinar las variaciones diurnas de la emisión utilizando los valores de un
inventario de emisiones anuales, etc.

Las incertidumbres de los datos meteorológicos y de calidad del aire residen en

la utilización de valores incorrectos de velocidades o direcciones del viento, de la
temperatura, de la concentración inicial de contaminante, de la concentración de
fondo, del grado de estabilidad, de la altura de la capa de mezcla, etc.

Respecto de los datos del terreno, una mala especificación de la topografía dará
lugar a una mala simulación de las circulaciones atmosféricas. Una especificación
incorrecta de otros parámetros como la rugosidad del terreno producirá errores en
estimación de la turbulencia generada por los obstáculos (árboles, edificios, etc)
existentes en la superficie.

Un análisis de sensibilidad del modelo a variaciones en los datos de entrada es

importante porque identifica los datos de entrada críticos del modelo y porque
contribuye ha determinar fuentes de error. En este aspecto, es interesante revisar los
trabajos de Hanna et al. (1991).

12
5. REFERENCIAS

Berkowicz R. (1998). Street Scale Models. En: Urban Air Pollution – European Aspects (
Editado por Jes fenger, Ole Hertel and Finn Palmgren) Kluwer Academic Publishers.
Dordrecht.

Builtjes P.J.H. (1992). The LOTOS - Long term ozone simulation project. Summary
Report TNO-MW Rep. 92/240, Oct. 1992.

Eder, B. Kang, D., Mathur, R., Yu, S., Schere, K., 2006. An Operational Evaluation of
the Eta-CMAQ air quality forecast model. Atmospheric Environment, In Press.

Eerens H.C., Sliggers C.J. y Van den Hout K.D. (1993). The Dutch method for
determine city air quality. Atmospheric Environment, 27B, 389-399.

Ermak D.L. y Morris M.H. (1988). A Methodology for Evaluating Heavy Gas Dispersion
Models. UCRL-21025. Lawrence Livermore National Laboratory. Livermore. California.

Ermak, D.L. (1990). User’s Manual for SLAB: An atmospheric Dispersion Model for
Denser-than-air Releases. Atmospheric and Geophysical Division, University of
California, Lawrence Livermore National Laboratory, California, Junio.

Hanna S.R. y Drivas P.J. (1987). Guidelines for Use of Vapor Cloud Dispersion Models.
Center for Chemical Process Safety of the American Institute of Chemical Engineers. New
York.

Hanna S.R. (1988). Air Quality Model Evaluation and Uncertainty. JAPCA 38, 406-412.

Hanna S.R., Strimaitis D.G. y Chang J.C. (1991). Hazard Response Modeling Uncertainty
(A Quantitative Method). Volume III. Components of Uncertainty in Hazardous Gas
Dispersion Models. Sigma Research Corporation. Final Report. 234 Littleton Road, Suite
2E, Westford, MA 01886.

Hass H. (1991). Description of the EURAD chemistry transport module (CTM) version
2. Report 83, Institute of Geophysics and Meteorology, University of Cologne, (Eds.: A
Ebel, F.M. Neubauer, P. Speth).

Jackobsen H.A. et al. (1995). Status of the Development of the Multilayer Eulerian
Model. EMEP/MSC-W. Note 3/95. Norwegian Meteorological Institute. Norway.

Johnson W.B., Ludwig F.L. Dabbert W.F. y Allen R.J. (1973). An urban diffusion
simulation model for carbon monoxide. JAPCA 23, 490-498.

Kang, D., Eder, B.K. and Schere, K.L., 2003. The evaluation of regional-scale air
quality models. In: Preprints of 26th NATO/CCMS International Technical Meeting on
Air Pollution Modeling and Its Application. Istambul, Turkey, pp. 404-411.

13
Kang, D., Eder, B., 2004. An operational evaluation of the Eta-CMAQ air quality
forecast model. In: 2004 Models-3 User’s Workshop Conference, Research Triangle
Park, NC, USA.

Ludwig F.L., Salvador R. y Bornstein R. (1989). An Adaptive Volume Plume Model.

Atmos. Environ., 23, 127-38.

Lyons, W.A., C.J. Tremback, and R.A. Pielke, (1995) Applications of the Regional
Atmospheric Modeling System (RAMS) to provide input to photochemical grid models for
the Lake Michigan Ozone Study (LMOS). J. Appl. Meteor., 34, 1762-1786.

Martín F. (1992). Sofware para Validación de Modelos. CIEMAT/IMA/UMAC/

M9C01/-6/92. Ciemat. Madrid.

Millán M.M. et al (1988). Dispersion de Contaminantes en la Atmósfera, III: Anexo de

Terreno Complejo con Interacciones Mar-Tierra. Revista Energía.
Ministerio de Medio Ambiente (2006). DOCUMENTO SOBRE LOS TEMAS
TRATADOS POR EL GRUPO DE TRABAJO V MODELIZACION DE LA
CALIDAD DEL AIRE PARA EL V SEMINARIO SOBRE LA CALIDAD DEL AIRE
EN ESPAÑA .Grupo de Trabajo de Modelización de la Calidad del Aire . Seminario
Nacional de Calidad del Aire en España. Santander. 16-18 de Octubre de 2006.

Moussiopoulos N. et al. (1994). Wind flow and photochemical smog in Thessaloniki:

Model results compared with observations. In: Air Pollution Modelling and Its
Application X (S.E. Gryning and M.M. Millán Eds.) NATO Challenges of Modern
Society. Vol 18, 109-116.

Palacios M. (2001) Incidencia del Tráfico Rodado en la Generación de Contaminantes

Atmosféricos. Aplicación de un Modelo de Dispersión al Area de Influencia de la
Comunidad de Madrid. Tesis doctoral. Escuela Técnica Superior de Ingenieros
Industriales. Universidad Politécnica de Madrid.

Perry S.G. (1992). CTDMPLUS: A Dispersion Model for Sources near Complex
Topography. Part I: Technical Formulations. Journal of Applied Meteorology, 31, 633-
645.

Pilinis C. y Seinfeld J.H. (1988). Development and Evaluation of an Eulerian

Photochemical Gas-Aerosol Model. Atmos. Environ., 22, 1985-1998.

Sandness H. (1995). The Receptor Oriented One-layer Trajectory Acid Deposition

Model with 50 km x 50 km Spatial Resolution. EMEP/MSC-W. Note 3/95. Norwegian
Meteorological Institute. Norway.

Shir C.C. and Shieh L.J. (1974). A Generalized Urban Air Pollution Model and Its
Application to the Study of SO2 Distributions in the St. Louis Metropolitan Area.
Journal of Applied Meteorology 13, 185-204.

14
Thunis P. and A. Clappier (2000) Formulation and evaluation of a nonhydrostatic
vorticity model (TVM). Monthly Weather Review, 128, 3236-3251.

US EPA, 1991. Guideline for Regulatory Application of the Urban Airshed Model. US
EPA Report No. EPA-450/4-91-013. Office of Air and Radiation, Office of Air Quality
Planning and Standards, Technical Support Division. Research Triangle Park, North
Carolina, US.

US EPA, 2005. Guidance on the use of models and other analyses in attainment
demonstrations for the 8-hour ozone NAAQS. US EPA Report No. EPA-454/R-05-002.
Office of Air Quality Planning and Standards. Research Triangle Park, North Carolina,
US, October 2005, 128 pp.

Yamartino R.J. y Wiegand G. (1986). Development and evaluation of simple models for
flow, turbulence and pollutant concentration fields within an urban street canyon.
Atmospheric Environment, 30, 2659-2677.

Zhang X.F. and Heemink A.W. (1996). The application of Kalman filter in the evaluation
of the CH4 budget in Europe. Air Pollution IV. Monitoring, Simulation and Control. Eds:
B. Caussade, H. Power, C. A. Brebbia. Computational Mechanics Publications, 1996.
Southampton. 155-164.

15