Aplicación de TimeGan
Un caso de estudio
Ing. Julio César Cesano González
jcesano@gmail.com.
Abstract—Este trabajo presenta un caso de aplicación de un
conjunto datos reales que representan una serie temporal de
medidas de polución tomdas de 5 sensores ubicados en la cuidad de
Madrid, España. Estos datos fueron utilizados en un modelo
TimeGan a efectos de generar nuevos datos sintéticos que
preserven la fidelidad y características de los datos reales.
Se logró la generación de nuevos datos sintéticos preservando en
una medida razonable la similitud de datos y características. Como
medida de evaluación se usó principales PCA y TSNE.
Keywords— formatting; preprocess; TimeGans, PCA, TSNE,
Dataset, Train, Test;
I. INTRODUCCIÓN
El estudio de series de tiempo requiere un esfuerzo de
recursos técnicos para la recolección y procesamiento de
información que representan en muchos casos costos
económicos significativos. Por tal motivo, existe el interés en
la capacidad de generar nuevos datos sintéticos a partir
información existente, que logren preservar no solo las
distribuciones de las caracaterísticas del conjunto de datos real,
sino que también se debe poder capturar la dinámica compleja
de dichas características a lo largo del tiempo.
El modelo TimeGAN tiene por objetivo la generación de
datos sintéticos preservando la dinámica temporal de las series
de tiempo.
En el presente trabajo se aplica el modelo TimeGan a un
conjunto de datos reales que representan una serie temporal de
mediciones de polución tomadas por 5 sensores, para generar
datos sintéticos relacionados a los datos reales utilizados.
En la sección Descripción de datos se describe el origen y
formato de los originales utilizados.
En la sección Procesamiento de Información se describen
las tareas realizadas sobre el conjunto de datos original para el
tratamiento de datos faltantes como de registros duplicados.
Luego se explican las tareas de procesamiento realizadas para
adaptar el formato de los datos para utilizarlo en el modelo
TimeGAN.
Curso de Redes Neuronales Generativas Profundas:
fundamentos y resolución de problemas.
Curso de Posgrado/Educación permanente.
Facultad de Ingeniería, Universidad de la República.
Montevideo, Uruguay.
En la sección de Ejecición del Modelo se describen las
características principales del modelo utilizado para la
generacion de datos sintéticos.
En la sección de Resultados se muestra las medidas y
gráficas con medidas de evaluación de los datos generados
versus los datos reales.
Finalmente en la sección Implementación se detallan
apreciaciones al código implementación así como la url donde
se ubica el proyecto complento y los archivos principales
modificados en relación al código original utilizado y facilitado
en el curso.
II. DESCRIPCIÓN DE DATOS
Se utilizó un conjunto de datos que representa una serie
temporal con datos reales medidos en forma horaria (cada una
hora) de datos de polución tomados de 5 sensores de la cuidad
de Madrid, España. Los datos están comprendidos entre el 1 de
enero de 2014 a las 00:00 hs y el 30 de noviembre de 2021 a
las 23:00 hs.
El cabezal de la tabla conteniendo el conjunto de datos es:
 DATETIME: columna que contiene la fecha y hora en
que se tomó la medida en formato AAAA-MM-DD
hh:mm:ss.
 S008: columna que contiene las medidas capturadas
por el sensor que para este trabajo se identifica con el
nombre S008.
 S035: columna que contiene las medidas capturadas
por el sensor que para este trabajo se identifica con el
nombre S035.
 S038: columna que contiene las medidas capturadas
por el sensor que para este trabajo se identifica con el
nombre S038.
 S048: columna que contiene las medidas capturadas
por el sensor que para este trabajo se identifica con el
nombre S048.
 S050: columna que contiene las medidas capturadas
por el sensor que para este trabajo se identifica con el
nombre S050.
 El conjunto de datos contiene un total de 168.116 registros.

A. Errores y datos faltantes en el conjunto de datos.

En primer lugar se verificó por la presencia de valores
faltantes (vacíos) en el conjuntos de datos (es decir, valores
NaN).
En este sentido se detectaron los siguientes errores en cada
sensor:

Luego se verificó la presencia de valores -1, que se

consideraron como errores de los sensores al momento de
tomar la medida. En este sentido se detectaron los siguientes
errores en cada sensor:

Se detectaron registros correspondientes a una misma fecha

y hora. Estos fueron considerados como errores de registros
duplicados.

El cuadro anterior indica que hubo 24 valores de fecha-hora
que se repitieron 3 veces comprendiendo un total de 72
registros, 32.784 valores de fecha-hora que se repitieron 4
veces comprendiendo un total de 131.116 registros y
finalmente 48 valores de fechas-hora que se repitieron 8 veces
comprendiendo un total de 384 registros.
También se detectaron fechas y horas para los que no se
tiene ningún registro. Los datos están comprendidos entre el 1
de enero de 2014 a las 00:00 hs y el 30 de noviembre de 2021 a
las 23:00 hs. Se detectaron 4 valores de fecha-hora entre los
valores anteriormente indicados para los cuales no se tiene
ningún registro.
Las fechas sin medidas registradas son: 2018-03-25
02:00:00, 2019-03-31 02:00:00, 2020-03-29 02:00:00 y 2021-
03-28 02:00:00.
En la siguiente sección se presentan las acciones realizadas
para el tratamiento de las situaciónes antes mencionadas y la
adaptación del conjunto de datos para poder ser utilizado en el
modelo TimeGAN.
III. PROCESAMIENTO DE INFORMACIÓN
A. Tratamiento de valores negativos
Los registros con valores negativos fueron tratados como
errores de medición, por lo tanto se trataron de igual modo que
los valores faltantes.
Se transformó cada valor negativo en un valor NaN, para
así unificar el conjunto de valores faltantes y aplicar un mismo
criterio para el tratamiento de estos casos (valores NaN).
B. Tratamiento de valores faltantes
Considerando que el primer registro de la tabla se
encuentra completo y con valores correctos, se implementó un
algoritmo que sustituye cada valor NaN en cada columna con
el último valor (válido) inmediato anterior de la misma
columna.
C. Tratamiento de agujeros (gaps)
En cuanto a las cuatro fechas para las cuales no se presentó
ningún registro, se agregó un registro para cada fecha y se
completo cada valor con el valor inmediato anterior, siguiendo
el criterio utilizado para los valores faltantes (NaN).
D. Tratamiento de registros duplicados
Una vez obtenida una tabla con valores válidos, solo
restaba tomar un criterio para obtener un registro único para
cada valor fecha-hora y así tener una serie de tiempo completa
y con valores consistentes.
Para ello, se generó un nuevo conjunto de datos agrupando
las tuplas por la columna DATETIME y agregando como
nuevas columnas el promedio de las medidas de cada sensor.
Se obtuvo el siguiente nuevo formato:
 DATETIME: columna que contiene la fecha y hora en
que se tomó la medida en formato AAAA-MM-DD
hh:mm:ss.
 Mean_S008: columna que contiene el promedio de
las medidas capturadas por el sensor para la fecha
indicada en la columna DATETIME en el sensor
S008.
 Mean_S035: columna que contiene el promedio de
las medidas capturadas por el sensor para la fecha
indicada en la columna DATETIME en el sensor
S035.
 Mean_S038: columna que contiene el promedio de
las medidas capturadas por el sensor para la fecha
indicada en la columna DATETIME en el sensor
S038.
 Mean_S048: columna que contiene el promedio de
las medidas capturadas por el sensor para la fecha
indicada en la columna DATETIME en el sensor
S008.
 Mean_S050: columna que contiene el promedio de
las medidas capturadas por el sensor para la fecha
indicada en la columna DATETIME en el sensor
S050.
Se obtuvo una serie de tiempo con un total 69.380 registros
y 5 columnas (una para cada sensor).
E. Formato para el modelo TimeGAN
Una vez obtenida la tabla conteniendo la serie de tiempo de
medidas de polución, el paso a seguir fue utilizar un modelo
TimeGAN para la generación de datos.
Como modelo TimeGAN, se utilizó la implementación
brindada en el curso de un modelo de ejemplo que utiliza un
conjuto de datos de stock.
Para utilizar nuestro conjunto de datos, se estudió el código
de la implementación del modelo TimeGAN otorgada en el
curso para entender los detalles de implementación para el
preprocesamiento de los datos de entrada y se analizó también
el formato del conjunto de datos de entrada de stock.
Luego, se implementó el preprocesamiento de los datos
para dar el formato necesario para ser utilizado en el modelo
(que se ejecuta en el main2.py). Se creó una nueva columna
con forma YYYYMMDD con nombre Idx. Dado que los datos
se registran por hora, esto hace que tengan 24 registros para
cada día. Esta columna "Idx" es utilizada por el método
data_preprocess() dentro del módulo data_preprocess.py del
modelo TimeGAN. En el juego de datos de stock el campo Idx
original se formaban bloques de 7 registros. Por ello, en forma
análoga se implementó un nuevo campo Idx = YYYYMMDD
generando bloques de 24 registros.
El dataframe resultante genera un archivo CSV llamado
Sensors_data_formatted.csv que se carga en Main2.py y se
ejecuta todo el proceso de TimeGAN.
IV. EJECUCIÓN DEL MODELO TIMEGAN
El modelo tiene tres fases de entrenamiento.
La fase de entramiento del espacio latente (Embedding
Network Training) se configuró para ejecutar 600 épocas,
logrando un valor de función de pérdida de 0.0174.
La fase de entrenamiento supervisado también fue configurado
con 600 épocas logrando un valor de pérdida de 0.0187.
La fase de entrenamiento también requirió de 600 épocas
obteniendo los valores de E: 0.3318, G: 2.3378 y D:1.7784.
El tiempo total de ejecución del modelo es de 185 minutos
aproximadamente.
V. RESULTADOS OBTENIDOS
Se aplicaron dos técnicas de reducción de dimensiones a
efectos de observar visualmente la distribución de los datos
reales y los datos sintéticos. Se aplicó la técnica PCA y TSNE.
A. PCA
A continación se muestra el resultado de la aplicacion de
PCA en el conjunto de datos sintéticos y reales.
La imagen anterior, muestra los puntos naranjas (datos
sintéticos) concentrados dentro de nubes azules (datos reales.
Por lo que los puntos se muestran mezclados o pertenecientes a
un mismo "cluster" de datos.
B. TSNE
A continuación se muestra el resutado de la técnica TSNE.
En este caso se observa que los datos no están mezclados
como el la imagen de PCA. Sin embargo, al lado de la cada
nube de puntos azules (datos reales) se genera una nube de
puntos naranja ubicado próximo la nube azul, que es de similar
tamaño. Y en el caso de la nube de mayor tamaño azúl, existe
una nube naranja que además de tener tamaño similar, también
presenta una forma similar.
VI. IMPLEMENTACIÓN
Se implementó un módulo denominado preprocess.py que
contiene el código necesario para el tratamiento de datos
faltanes así como para dar el formato requerido para utilizarse
en el modelo TimeGAN. El resultado es una tabla guardada en
un archivo csv llamado Sensors_data_formatted.csv que se
levanta y se ejecuta el modelo dentro del archivo main2.py.
El proyecto completo se ejecuta desde el archivo
Copy_of_TimeGAN_6_1.ipynb.
El proyecto completo puede descargarse desde .
https://github.com/jcesano/TimeGAN.git
Igualmente se hace entrega del proyecto completo en el sitio
EVA mediante un archivo TimeGAN-master.zip.
AGRADECIMIENTOS
Quisiera agradecer a los docentes del curso Sergio
Nesmachnow y Jamal Toutouh. El curso realmente muy bueno
y el tema muy interesante. Me gustaría seguir profundizando
respecto a las GAN y las redes neuronales en general.