DATOS METEOROLGICOS, SU CONTROL Y TRATAMIENTO Ing.Susana Vanlesberg, Dr. Luca Fibbi, Lic.Silvia Ibarrola, Dra.

Chiara Crotti
PROYECTO CIOMTA Financiado por la Unin Europea

RESUMEN La etapa inicial en todo trabajo siempre esta relacionada con la recopilacin de los datos bsicos. Generalmente estos datos se encuentran en una situacin de dispersin y su mera sntesis y unificacin es bastante complicada y posee un gran inters intrnseco. Se trabaj con series histricas de variables meteorolgicas (temperatura, precipitacin, humedad, radiacin, velocidad de viento) correspondientes a 20 estaciones de INTA y 33 del SMN con datos a tiempo real de las estaciones del Proyecto CIOMTA ubicadas en la zona de trabajo. Se ha realizado la validacin de los datos a diferentes niveles con diferentes algoritmos y procedimientos; ya que el control de calidad incluye procedimientos desde los ms simples a aquellos que son ms complejos El objetivo final del control de calidad de los datos meteorolgicos fue el de asociar a cada dato archivado un cdigo (flag) que certifique su validez o la sospecha de dato errado o anmalo basado en el control efectuado. Para el control en detalle de cada dato meteorolgico se consideraron tres fuentes de variabilidad: -interanual (variacin del dato registrado en un momento del ao y en los distintos aos de la serie). -temporal (variacin del dato respecto al valor precedente o sucesivo). -espacial (variacin del dato medido en un momento en distintas estaciones). Como resultado del control efectuado, cada dato posee una marca: si dos o ms de los mtodos le asignaron un cdigo de sospechoso entonces el dato fue marcado como errneo y se lo rellen posteriormente al igual que los datos faltantes originalmente. Para el rellenamiento de datos se aplic un mtodo basado en la estructura de correlacin de las variables. Se han sistematizado convenientemente los mtodos de validacin con el diseo de un software especfico. As se cuenta en CIOMTA con series de buena calidad, completas y de una longitud adecuada, para enfrentar los estudios planteados y ya disponibles para su uso. Palabras claves: control-estadstica-datos

Vanlesberg/Fibbi/Ibarrola/Crotti - Pgina 1 de 10

INTRODUCCIN Cuando se habla de calidad de los datos se refiere a la representatividad de ese valor respecto a la magnitud real que se mide, a su valor en ese momento y adems a la capacidad de ese dato de representar la condicin meteorolgica de la zona de medicin. La validacin del dato puede realizarse a diferentes niveles con diferentes algoritmos o procedimientos en funcin de la disponibilidad del dato y de la exigencia del usuario final. El control de calidad incluye procedimientos desde los ms simples a aquellos que son ms complejos. Antes del control de calidad del dato hay algunos controles de base para individualizar errores groseros relativos: al tipo de mensaje meteorolgico, al soporte utilizado, al sistema de transmisin, etc. Este control permite detectar rpidamente valores imposibles. Cuando la serie histrica lo permite se puede aplicar una validacin posterior que utiliza la variabilidad espacial y temporal del fenmeno medido. Se trata de definir cual sea la normalidad del dato y de individualizar eventuales situaciones anormales que pueden estar asociadas a errores en los datos o a eventos extremos. El objetivo final es asociar a cada dato archivado un cdigo (flag) que certifique su validez o la sospecha de dato errado o anmalo basado en el control efectuado.

MATERIALES Y MTODO Para el control de cada dato meteorolgico se utilizan tres fuentes de variabilidad: -interanual (variacin del dato registrado en un momento del ao en una serie anual, o sea en distintos aos). -temporal (variacin del dato respecto al valor precedente o sucesivo). -espacial (variacin del dato medido en un momento en distintas estaciones) El mtodo de control de calidad tiende a verificar sustancialmente estas tres condiciones: 1.- la consistencia interna 2.- la persistencia temporal 3.- la consistencia espacial

Vanlesberg/Fibbi/Ibarrola/Crotti - Pgina 2 de 10

Figura 1: Zona de estudio Proyecto CIOMTA- Estaciones meteorolgicas

Verificacin de la consistencia interna (interanual) Se puede asumir que un dato meteorolgico determinado en cierto lugar y tiempo es funcin de las caractersticas ambientales y estacionales. Esto vara normalmente dentro de un rango de valores fuera del cual se puede decir que el dato es errneo. Para un control significativo de la exactitud del dato es determinante la eleccin del valor lmite con el cual confrontar cada dato. Sea x el parmetro meteorolgico en examen, se calcula la media mvil de orden 31 con el fin de obtener una estimacin robusta y no distorsionada del parmetro:

N * 31 xi media mvil de orden 31 para cada da del ao (1..365) y para cada ao de la serie, es decir se consideran todos los datos.

xi =

x
y =1 d =i 15

i +15

y ,d

(1)

N cantidad de aos de la serie

Vanlesberg/Fibbi/Ibarrola/Crotti - Pgina 3 de 10

d da del ao considerado Se estima el desvo estndar de esta media mvil para cada da:

Si =

(( x
y =1 d =i 15

i +15

y ,d

) xi ) 2

(2)

N * 31

Se considera como sospechosas las mediciones cuya dispersin en valor absoluto son mayores de tres veces este desvo calculado:

x y , d xi

> 3 * Si

(3)

Para el caso del control de la precipitacin el proceso es algo ms complicado ya que debe realizarse en forma indirecta a travs de la temperatura, esto debido a que la distribucin de la lluvia es altamente asimtrica, lo que no permitira realizar los controles basados en el supuesto de distribucin normal de los datos.

Una vez realizado el control completo sobre los datos de temperatura se procede con los de la lluvia. Para esto deben considerarse dos grupos de das los lluviosos y los no lluviosos. Se obtiene entonces la media y la desviacin estndar de la variacin trmica de cada uno de estos tipos de das:
Lluviosos:

Epi =

(tmx
y =1 i =i 15

i +15

d,y

tmn d , y )

Np

(4)
tmn d , y ) Epi ) 2 Np

pi =

((tmx

d,y

Np nmero de das lluviosos total Epi media interanual de la variacin de la temperatura de un da lluvioso i da del ao considerado y p es decir ao en el que el da fue lluvioso

Vanlesberg/Fibbi/Ibarrola/Crotti - Pgina 4 de 10

No lluvioso:

Enpi =

(tmx
y =1 i =i 15

i +15

d,y

tmn d , y )

(5)

Nnp

npi =

((tmx
y =1 i =i 15

i +15

d,y

tmn d , y ) Enpi ) 2 Nnp

Nnp nmero de das no lluviosos considerados Para determinar el carcter anmalo de un dato se considera otra vez la categora del da y algunas condiciones a cumplir en cuanto a la temperatura: Si el da en anlisis es no lluvioso : a- temperatura mxima del da menor a la del da anterior. b- temperatura mnima del da mayor a la del da anterior. c- la variacin trmica del da es menor a la media menos tres veces el desvo:

(tmx d , y tmn d , y ) ( Enpi 3 * npi ) Si el da en anlisis es lluvioso: a- temperatura mxima del da mayor a la del da anterior b- temperatura mnima del da menor a la del da anterior. c- Variacin trmica del da mayor a la media menos tres veces el desvo: (tmx d , y tmn d , y ) ( Epi 3 * pi )

(6)

(7)

Verificacin de la consistencia temporal

El control relativo a este tipo de verificacin es para evidenciar eventuales anomalas entre datos temporalmente contiguos y se basa en la hiptesis que el cambio en el tiempo de las mediciones del parmetro meteorolgico no puede superar determinados lmites. Se puede proceder a la verificacin de la consistencia temporal mediante diversos sistemas de control, algunos de los cuales son muy simples. La eficacia del control depende de todas formas del valor umbral elegido para confrontar la dispersin o alejamiento temporal de las mediciones; es decir su ajuste a la condicin especfica local.

Vanlesberg/Fibbi/Ibarrola/Crotti - Pgina 5 de 10

Algunos criterios Variacin respecto al valor precedente

Se confronta la diferencia entre dos valores sucesivos con el valor umbral.

= xt xt 1 el dato ser sospechoso si >valor lmite Comparacin con la climatologa de la diferencia de un da con el siguiente

(8)

Se calcula la media climtica de la diferencia entre dos intervalos consecutivos (das) como media mvil de orden 31 a fin de obtener una estimacin robusta y sin distorsin:

N * 31 i media mvil interanual de la diferencia de la variable meteorolgica x entre dos das consecutivos para el da i, ao y, d da del ao considerado.

i =

(( x
y =1 d =i 15

i +15

y ,d

) ( x y ,d 1 ))

(9)

Se obtiene la desviacin estndar de esta media mvil para cada da del ao de toda la serie:

Si =

(( x
y =1 d =i 15

i +15

y ,d

x y ,d 1 ) i ) 2

(10)

N * 31

Se consideran sospechosos los datos con diferencias respecto al valor precedente mayor en valor absoluto a tres veces el desvo: ( x y ,d x y ,d 1 ) i > 3 * S i (11)

Como en el caso anterior para verificar la calidad de los datos de precipitacin se lo hace a travs de la variabilidad trmica entre dos das consecutivos. Para esto ahora se debern considerar tres grupos de das: 1- dos das consecutivos de lluvia (p) 2- dos das consecutivos no lluviosos (np) 3- dos das consecutivos uno de cada clase (pnp)

Vanlesberg/Fibbi/Ibarrola/Crotti - Pgina 6 de 10

Entonces se realiza el anlisis para cada uno de estos grupos y se determina la condicin de anmalo o no del los datos:

Epi =

(tmx
y =1 i =i 15

i +15

d,y

tmn d , y ) (tmx d 1, y tmn d 1, y )

Np

(12)

pi =

((tmx tmn)
y =1 i =i 15

i +15

d,y

Epi ) 2

Np

Para los otros dos casos se calcula igual media y desvo slo que se coloca Nnp y Npnp respectivamente. La consideracin de dato anmalo se dar para cada uno de los grupos si se dan las siguientes condiciones: Dos das consecutivos de lluvia: (tmx tmn) d , y (tmx tmn) d 1, y Epi 3 * pi Dos das consecutivos no lluviosos:
(tmx tmn) d , y (tmx tmn) d 1, y Enpi 3 * npi Dos das consecutivos uno de lluvia y el otro no: (tmx tmn) d , y (tmx tmn) d 1, y Epnpi 3 * pnpi (15) (14) (13)

Verificacin de la consistencia espacial

La comparacin de datos relevantes en puntos diversos del dominio espacial representa uno de los mtodos mayormente utilizados para averiguar la eventual presencia de errores en los datos. Uno de los problemas de estos mtodos es la eleccin de la estacin con la cual confrontar los datos a controlar. Aparte de pertenecer a una condicin climtica comn es necesario individualizar el procedimiento concreto para seleccionar la ms oportuna de las estaciones entre todas las disponibles en la red. Un primer criterio es comparar con la ms cercana, esto no es una garanta para ver la correspondencia en los datos pero se puede iniciar as. Un segundo criterio o mtodo es correlacionar la estacin a controlar con otras; la que tiene mayor correlacin ser la que se use para confrontarla; esto tampoco es una seguridad ya que los

Vanlesberg/Fibbi/Ibarrola/Crotti - Pgina 7 de 10

montos precipitados pueden ser mltiplos y entonces la correlacin es espuria.

Buddy Checking

Es un mtodo simple de aplicar. Se calculan las medias mensuales x k y x j de la estacin a controlar K y la estacin J usada para el control. Para el da i se calcula el desvo respecto a la media mensual:
i , j = xi , j x j i ,k = xi ,k x k

(16)

Se obtiene la diferencia entre ellos: i , j i ,k = (17)

Un dato ser considerado sospechoso si es mayor o igual a algn valor lmite prefijado de antemano en funcin de las caractersticas climticas de la regin.
Control areal para regiones pequeas

Para una regin pequea homognea climatolgicamente se usan los datos de todas las estaciones. Para cada estacin del rea, j se tiene la media mensual, luego para el da i se calcula la media de los desvos respecto a la media mensual respectiva para todas las estaciones del rea (a excepcin de la estacin K bajo control):
j =n 1 ( xi , j x j ) M 1 j =1, j k luego se calcula la desviacin estndar de esta media:

x i =

(18)

i = S

n 1 ( xi , j x j ) 2 M 1 j =1, j k

(19)

siempre para el da i entonces para la estacin k se calcula el desvo respecto a la media mensual respectiva x k :

x' i ,k = xi ,k x k

(20)

Vanlesberg/Fibbi/Ibarrola/Crotti - Pgina 8 de 10

entonces se calcula la diferencia absoluta entre el desvo de la estacin k y la media de los desvos de todas las otras estaciones: = xi ,k x i se seala como valores sospechosos si por ejemplo supera los valores lmites predefinidos.
Comparacin de la variabilidad meteorolgica de estaciones cercanas

(21)

El mtodo se apoya en el simple principio de que una variacin registrada cerca de una estacin deber ser registrada en intensidad y signo similar tambin en las estaciones cercanas. Si se tienen M estaciones cercanas utilizables para el control de la estacin k esto se realiza haciendo la media M de la variacin en todas las estaciones vecinas y confrontando la desviacin entre esta media y la variacin k registrada en la estacin k en el mismo perodo: M = xi ,t +1 xi ,t
i =1 M

(22)

K = x k ,t +1 x k ,t un valor ser sospechoso si:

k M valor lmite

(23)

Comparacin con la climatologa de la diferencia de mediciones entre estaciones cercanas

Este es el mtodo que se ha implementado. Se calcula la media mvil de orden 31 y la desviacin estndar de la diferencia entre la estacin a controlar, K y las restantes 1M:

N * M * 31 media de la diferencia entre el dato i de la estacin a controlar K y las estaciones vecinas para el da i.

i =

(x
y =1 d =i 15 s =1

i +15

y ,d ,k

x y ,d , s )

(24)

Se obtiene la desviacin estndar de esta media de cada da del ao:

S i =

(( x
y =1 d =i 15 s =1

i +15

y ,d ,k

x y ,d , s ) i ) 2

(25)

N * M * 31

Se considera como sospechoso al dato si la media de la diferencia entre los datos medidos por la

Vanlesberg/Fibbi/Ibarrola/Crotti - Pgina 9 de 10

estacin bajo control y el de las vecinas en valor absoluto, superan la media climatolgica ms 3 veces el desvo:

x
s =1

xs

> 3 * S i + i

(26)

RESULTADOS Y CONCLUSIONES

Como resultado del control efectuado, cada dato posee una marca: si dos o ms de los mtodos le asignaron un cdigo de sospechoso entonces el dato fue marcado como errneo y se lo rellen posteriormente al igual que los datos faltantes originalmente. Para el rellenamiento de datos se aplic un mtodo basado en la estructura de correlacin de las variables. Se han sistematizado convenientemente los mtodos de validacin con el diseo de un software especfico. Se cuenta as en el Proyecto CIOMTA con series de buena calidad, completas y de una longitud adecuada, para enfrentar los estudios planteados y ya disponibles para su uso.

REFERENCIAS BIBLIOGRFCAS
WMO (1989) Proceedings of international workshop on precipitation measurements Switzerland 584 pp. GROISMAN P.Y. , D.R. EASTERLING AND D.R. LEGATE (1994) The accury of United States precipitation dataBull.Amer.Meteor. Soc. 75 215-227. WALPOLE RONALD E. (1999) Probabilidad y Estadstica para Ingenieros 6ta. Edicin Ed. Hispanoamericana S.A. Mxico. Prentice may

Vanlesberg/Fibbi/Ibarrola/Crotti - Pgina 10 de 10