La gran cantidad de datos adquiridos por los satélites de observación de la Tierra de alta

resolución actuales implica algunos desafíos técnicos que deben afrontarse. La plataforma de
Google Earth Engine (GEE) proporciona un marco para el desarrollo de algoritmos y productos
creados sobre estos datos de una manera fácil y escalable. En este documento, aprovechamos las
capacidades de la plataforma GEE para explotar la gran cantidad de información en la dimensión
temporal mediante el procesamiento de una larga serie de imágenes de satélite. Un algoritmo de
detección de nubes para Landsat-8, que utiliza imágenes anteriores de la misma ubicación para
detectar nubes, se implementa y se prueba en la plataforma GEE.

INTRO

La proliferación de satélites de observación de la Tierra (EO), como Landsat-8 [1] o Sentinel-2 [2],
junto con sus altas resoluciones espaciales y espectrales, ha aumentado la cantidad de datos que
se procesarán exponencialmente. Se requiere acceso rápido a archivos distribuidos, alta
automatización del sistema e implementaciones paralelas y escalables para manejar estos
enormes volúmenes de datos geoespaciales. Además, algunos de los pasos de preprocesamiento
de las imágenes adquiridas por estos sensores, como la detección de nubes, deben llevarse a cabo
operativamente dentro de la cadena estándar de procesamiento de instrumentos [3]. Por lo tanto,
los algoritmos de detección remota particularmente exigentes se beneficiarían de las plataformas
existentes que nos permiten implementarlos en un grupo distribuido de recursos de computación
en la nube. En este contexto, la plataforma del motor de Google Earth (GEE,
earthengine.google.com) se ha revelado como uno de los desarrollos más prometedores para el
acceso y análisis de datos de las ciencias de la Tierra [4, 5]. La infraestructura de la nube de Google
contiene un catálogo de múltiples petabytes de imágenes satelitales de satélites conocidos, que
incluyen Landsat, Sentinels y MODIS entre otros1. Además, proporciona herramientas de
programación para acceder, operar y visualizar dichos datos de una manera fácil y escalable. Por lo
tanto, la conveniencia de la plataforma Este trabajo ha sido respaldado por Google Inc. bajo el
Premio del motor de Google Earth (GEE) titulado 'Detección de nubes en la nube' (L. Gomez-
Chova), y el Ministerio de Economía y Competitividad de España ´ (MINECO) bajo los proyectos
TEC2016-77741-R y TIN2015-64210-R. es doble: (1) otorga acceso a una vasta imagen satelital, sin
la molestia de descargarla, usando la misma sintaxis independientemente del sensor satelital; y (2)
la carga computacional de entrenamiento y prueba del modelo se realiza en la plataforma
distribuida paralela GEE, que realiza automáticamente una gestión eficiente de la memoria y
distribuye la potencia de procesamiento en las máquinas virtuales, evitando problemas de
concurrencia, que comúnmente surgen en el contexto de alta información. Procesamiento de
volumen. En este documento, para ilustrar las ventajas prácticas del GEE, implementamos un
algoritmo multitemporal de detección de nubes para series de tiempo de imágenes satelitales de
alta resolución de Landsat-8. La infraestructura de GEE otorga acceso al catálogo completo de
Landsat-8 y a una plataforma de computación distribuida paralela [6], que son requisitos
esenciales para procesar series de tiempo de imágenes satelitales de manera operativa. La Sección
2 presenta las características más relevantes de la plataforma del motor de Google Earth. La
sección 3 presenta la metodología de detección de nube implementada. En la sección 4,
describimos las series de tiempo utilizadas en los experimentos e ilustramos los resultados del
método propuesto. Finalmente, la sección 5 concluye el trabajo y describe el trabajo futuro.

LA PLATAFORMA
Como se mencionó anteriormente, las principales ventajas de la plataforma GEE son el acceso a un
catálogo completo y completo de productos de detección remota y la capacidad de procesar todos
estos productos muy rápidamente a través de una paralelización masiva. El catálogo de datos GEE
está compuesto por datos de Landsat 4, 5, 7 y 8 procesados por el Servicio Geológico de los
Estados Unidos (USGS), varios productos MODIS, incluidos composites globales, recientemente
imágenes de satélites Sentinel 1 y 2, y muchos más. Todos los datos son preprocesados y
georreferenciados, facilitando su uso. Además, los científicos también pueden cargar sus propios
datos en formatos raster o vectoriales para analizarlos y trabajar con ellos. El motor de
computación GEE se basa en cientos de máquinas de centros de datos de Google, y la
paralelización de los algoritmos programados es sencilla utilizando la interfaz de programación de
aplicaciones (API) proporcionada. Los cálculos solo se realizan realmente en los datos requeridos, y
cuando el usuario los solicita. Además, los resultados calculados se almacenan en caché, de modo
que cuando los usuarios solicitan el mismo procesamiento no es necesario e puede acceder al GEE
utilizando un IDE basado en la web, una API de JavaScript o una API de Python. Permite análisis
geoespaciales complejos que incluyen superposición, álgebra de mapas, operaciones de matriz,
procesamiento de imágenes, clasificación, detección de cambios, análisis de series de tiempo,
extracción de estadísticas de imágenes, etc. También incluye herramientas para visualizar
resultados como mapas, cuadros, tablas e imágenes que Se puede exportar. Usando los lenguajes
de programación JavaScript o Python, los usuarios tienen acceso a los algoritmos proporcionados,
o pueden desarrollar los suyos propios. La paralelización de los algoritmos se basa en el modelo de
programación MapReduce [7]. Los usuarios definen sus algoritmos en términos de funciones de
mapa y de reducción, y la plataforma subyacente paraleliza automáticamente el cálculo en una
gran cantidad de clústeres. En el modelo de programación MapReduce, el cálculo toma un
conjunto de pares clave-valor de entrada y produce un conjunto de pares clave-valor de salida
correspondientes. En este contexto, un valor puede ser cualquier objeto, por ejemplo, un valor
escalar, un vector, una matriz u objetos estructurados en general, mientras que la clave es un
identificador único asociado con él. El usuario debe proporcionar tanto el mapa como las
funciones de reducción. La función de mapa toma un solo par de entrada y produce un conjunto
de pares de clave-valor intermedio. El algoritmo MapReducer agrupa todos los valores que tienen
la misma clave y pasa estos grupos a la función de reducción. La función de reducción recibe de
manera iterativa una clave y sus valores asociados y combina estos valores formando un conjunto
reducido de valores (generalmente uno), que son la salida final de la cadena MapReduce. En la
plataforma GEE, los usuarios generalmente tienen que proporcionar solo la función de mapa. Por
ejemplo, cuando se trabaja con una serie temporal completa de imágenes Landsat (una colección
de imágenes que utiliza la terminología GEE), se puede definir una función de mapa que realice
una operación utilizando todas o algunas bandas de cada imagen en la colección de imágenes. Una
vez que se define la función de mapa, el usuario la aplica a toda la colección de imágenes
simplemente llamando al método de mapa API para este tipo de objetos. Finalmente, para
obtener resultados, el usuario llama a uno de los "reductores" proporcionados por la plataforma
GEE, que cubre casi todas las operaciones de imagen posibles, como calcular la media, la mediana,
la varianza, el máximo, el mínimo, las operaciones lógicas (y, o no) , ajuste lineal, etc. En la
siguiente sección explicaremos el algoritmo y los detalles de su implementación en la plataforma
GEE.

DESCRIOCION DEL ALGORITMO

El algoritmo de detección de nube implementado en el GEE fue presentado por los autores en [8].
El método se basa en detectar cambios bruscos a lo largo de la dimensión temporal. El supuesto
principal es que las series temporales de imágenes siguen variaciones suaves sobre la tierra (fondo
de la superficie) y los cambios abruptos se deben principalmente a la presencia de nubes. El
método estima los cambios de la superficie de fondo usando la información en la serie de tiempo.
En particular, el algoritmo utiliza la nube anterior.

Imágenes gratuitas de la misma ubicación para adaptarse a un modelo de regresión de serie

temporal que se utilizará para estimar una versión sin nubes de la imagen actual (fondo). Las
nubes se detectan posteriormente como la diferencia entre la imagen libre de nubes estimada y la
imagen nublada analizada. Las diferencias significativas en la imagen de interés con respecto al
fondo estimado se identifican como nubes. Las ventajas prácticas discutidas de GEE nos permiten
superar uno de los principales requisitos del algoritmo propuesto que dificultaría su aplicabilidad
en una base operacional: la disponibilidad de imágenes sin nubes previas de la misma área para
cada escena analizada. Tener acceso a todo el archivo de Landsat-8 y a la banda de evaluación de
calidad de imagen (BQA) correspondiente [1] nos permite explorar todas las escenas que
eventualmente cubren las nubes de manera automática. Hemos utilizado la API de Python de GEE
para implementar los modelos de regresión. Para que cada imagen de Landsat se procese, el
módulo primero crea un conjunto de datos sin nubes mediante la búsqueda en la colección de
imágenes de Landsat para una ubicación en particular y un período de tiempo determinado. Las
imágenes sin nubes de la serie de tiempo se seleccionan automáticamente usando la probabilidad
de nube calculada a partir de la banda BQA de Landsat. En segundo lugar, se ajusta al modelo y
predice la imagen libre de nubes de fondo. Luego, calcula la diferencia entre la imagen adquirida y
la predicha y realiza un agrupamiento usando la imagen de diferencia para crear la máscara de
nube final. Debe notarse que todo el proceso de detección de nubes no está supervisado, ya que
nuestro algoritmo no se alimenta con ningún dato etiquetado en la nube. Los procesos de
detección de imágenes sin nubes y la aplicación del modelo de regresión para predecir la imagen
de fondo se realizan en paralelo utilizando el modelo MapReduce subyacente. Las imágenes sin
nubes anteriores se filtran y se reducen a una sola imagen que contiene las bandas de las
imágenes anteriores y la imagen para estimar las nubes. Una vez que se ajusta el modelo de
regresión, se aplica en paralelo a cada píxel de esa imagen para obtener la estimación libre de
nubes. Hemos comparado nuestra máscara de nube con el algoritmo de máscara Fmask
implementado específicamente para imágenes Landsat [9], que está diseñado en base a una sola
imagen y se basa principalmente en la combinación de reglas y umbrales en un conjunto de
índices espectrales. Explotamos el hecho de que el algoritmo Fmask ya está integrado en el
catálogo GEE (USGS Landsat 8 TOA Reflectance with Fmask).

RESULTADOS

La Figura 1 muestra un ejemplo ilustrativo de los resultados de la detección de nubes en la ciudad

de Valencia, España, en la costa mediterránea. La primera fila muestra la imagen de Landsat-8 que
se procesará (Fig.1 (d)), las tres imágenes anteriores sin nubes (Fig.1 (a-c)) utilizadas para entrenar
los modelos y la máscara de nubes y sombras propuesta. Las imágenes anteriores sin nubes se
seleccionaron automáticamente al navegar por el catálogo de GEE Landsat-8. En particular,
elegimos las fechas más cercanas con poca cobertura de nubes en términos de la banda BQA de
Landsat-8: si más del 5% de los píxeles se identifican como contaminados por la nube en la banda
BQA, la imagen se descarta. En este caso particular, se determinó que tres de cada cinco imágenes
anteriores están libres de nubes. La segunda fila compara los resultados entre el enfoque
propuesto y la máscara de la nube del algoritmo Fmask, que ya se incluye como una banda
adicional en la colección de imágenes seleccionada de GEE Landsat. Fig.1 (e-f) presenta los
resultados para el método propuesto y para Fmask, respectivamente. Las nubes detectadas se
representan en rojo y las sombras en magenta oscuro. Las nubes corresponden a un aumento en
la diferencia de intensidad entre la imagen estimada y la nublada, mientras que las sombras
presentan una disminución en la intensidad. En la Fig. 1 (g), las discrepancias se resaltan en verde
y rojo, lo que puede explicarse principalmente por dos factores: 1) el crecimiento espacial llevado
a cabo por el algoritmo de máscara, y 2) el enmascaramiento de la máscara sobre áreas brillantes.
Fmask detecta como estructuras de nubes brillantes en el puerto de Valencia y playas de arena
(falsos positivos), mientras que el enfoque propuesto explota la dimensión temporal para describir
adecuadamente estas características brillantes, pero estables en el tiempo. Finalmente, la Fig. 1
(h) muestra la imagen estimada para el 26 de agosto donde se han eliminado las nubes. De hecho,
mostramos valores estimados para toda la escena y no solo para zonas nubladas. En esta imagen,
aunque algunos valores de brillo extremo se reducen de alguna manera, podemos ver cómo las
características espaciales y radiométricas están bien conservadas. Finalmente, para probar el
potencial de GEE, hemos procesado los años 2015 y 2016 para la región considerada utilizando la
plataforma GEE. La Figura 2 muestra los resultados para diferentes fechas y cubiertas de nubes.
Para los lectores interesados, tanto un Python una libreta con un ejemplo de la implementación de
GEE y los resultados de todas las imágenes están disponibles en línea 2. Aunque no se encuentra
disponible una referencia de máscara de nube "verdadera" para las imágenes adquiridas, es
posible calcular el acuerdo entre las máscaras de nube propuestas y Fmask para las imágenes
Landsat-8 procesadas dentro de la plataforma GEE. En particular, se procesaron 62 imágenes para
2015 y 2016, obteniendo un acuerdo promedio entre las máscaras de nubes propuestas y Fmask
de 87.5 ± 12% (en términos de precisión de detección general promedio y desviación estándar).

CONCLUSIONES

Este documento ha presentado la implementación en la plataforma GEE de un algoritmo de

detección de nube que explota la información temporal de las series temporales de imágenes
Landsat-8 disponibles. Automatizamos el proceso de conformación de conjuntos de datos libres de
nube aprovechando las capacidades de la plataforma. Aplicamos nuestro análisis a un sitio de
prueba conocido durante todo un año y comparamos nuestros resultados con los algoritmos de
detección de nubes de última generación para Landsat-8. Los resultados muestran que, al explotar
la riqueza de información en la dimensión temporal, la precisión de detección de la nube aumenta,
especialmente en casos críticos como superficies brillantes.