Portal de revistas: http://revistas.utp.ac.

pa

Algoritmo Compresión Para Reconstrucción de la Curva de Carga de

Consumo Eléctrico a Partir de Big Data con Datos en AMI
Portal
Compression Algorithm de revistas: http://revistas.utp.ac.pa
for Reconstruction of the Load Curve of Electric Consumption
from Big Data with Data in AMI

Johao Burbano 1*, Hassan Ortega 2*, Esteban Inga 3*

1,2,3 Universidad Politécnica Salesiana, Ecuador

* jburbanob@est.ups.edu.ec *hortegae@est.ups.edu.ec

RESUMEN– En el presente artículo se realizar una reducción significativa en los datos que se almacenan en los servidores encargados de
almacenar datos, sin recurrir a eliminar datos; para de esta manera administrar los datos almacenados y tener una base de datos eficiente y óptima
que sea capaz de almacenar una extensa cantidad de datos encriptados sin afectar la calidad de la información. Para lo que se realizara un algoritmo
que me permita la encriptación más óptima de acuerdo al tipo de datos a ser almacenados, de acuerdo a los datos medidos en una red eléctrica
inteligente, para la correcta elaboración del algoritmo se lo realiza en el programa Matlab,; los datos almacenados deben estar disponibles para una
correcta administración, para de esta manera poder tener una base de datos ideal, que permita poder hacer una proyección de la demanda sin la
necesidad de tener servidores con capacidades enormes de memoria; además se realiza una comparación entre las velocidades de procesamiento de
datos.

Palabras clave–: Big Data, Modelado de datos, respuesta de demanda

ABSTRACT– This article will make a significant reduction in the data stored on the servers responsible for storing data, without resorting to
deleting data; in order to manage the stored data and have an efficient and optimal database that is capable of storing a large amount of encrypted
data without affecting the quality of the information. For what an algorithm will be made that allo ws me the most optimal encryption according to
the type of data to be stored, according to the data measured in an intelligent electrical network, for the correct elaboration of the algorithm it is
done in the Matlab program, ; the stored data must be available for proper administration, in order to have an ideal database, which allows projection
of the demand without the need for servers with huge memory capacities; In addition, a comparison is made between data processing speeds.
Keywords– Apache Hadoop; BigData; Data Modeling, demand response.

1. Introducción proyección a la demanda acorde a las características que

La información sigue creciendo día a día conforme
la tecnología avanza; y aún más teniendo en cuenta el
despliegue de AMI (Advanced Metering Infraestucture),
permitiendo establecer una comunicación bidireccional
entre las empresas eléctricas y los usuarios finales de las
mismas [1]. El incremento de la infraestructura de
medidores inteligentes permite a las empresas eléctricas
un manejo eficiente de las demandas máximas de energía
eléctrica, para de esta manera poder determinar una
presente cada sector [2]; pero la constante medición de
datos de consumo de energía eléctrica crea cantidades
enormes de datos es por eso que es necesario
herramientas poderosas para el almacenamiento y
tratamiento de este BigData [3]. [1]–[28]
El procesamiento de BigData tiene un costo
económico y ambiental alto, es tan grande que en Estados
Unidos entre los años 2000 y 2005, el consumo total de
electricidad relacionado a los motores de procesamiento

Citación: Primera_letra_nombre. Apellido, “Titulo_artículo”, Revista de I+D Tecnológico, vol. 15, no. 1, pp. (no_modificar), 2019.
Tipo de artículo: No_modificar. Recibido: No_modificar. Recibido con correcciones: No_modificar. Aceptado: No_modificar.
DOI.
Copyright: 2019 Primera_letra_nombre. Apellido. This is an open access article under the CC BY-NC-SA 4.0 license (https://creativecommons.org/licenses/by-nc-
sa/4.0/).
de datos fue de aproximadamente 45.000 millones de
kWh/año y más de 120.000 millones de kWh/año en todo
el mundo. Actualmente el centro de datos más grande del
mundo está ubicado en Washington y le pertenece a
Microsoft el cual ocupa 47.000 metros cuadrados y
funciona con 47 MW, lo que le cuesta más de 18 millones
de dólares al año en energía eléctrica [4]–[6].
El tratamiento de una gran cantidad de datos o
BigData está dirigido a sofisticados algoritmos y
sistemas informáticos, esenciales para el adecuado uso de
cantidades masivas de datos; existen cuatro atributos
claves para el tratamiento de BigData: volumen,
velocidad, variedad y veracidad [7]–[9].
Volumen. - Es común mente utilizado como un
sinónimo de BigData ya que es uno de los aspectos más
representativos de este, pero no el único; debido a la
proliferación de los sistemas de información e
inteligencia el volumen de los datos ha crecido hasta
alcanzar los rangos de pentabytes [10], por lo que el
tratamiento de datos es difícil de manejar a esas
cantidades de datos, por lo que las soluciones más
comunes son la implementación de bases de datos para
escalar verticalmente. Sin duda la cantidad de datos
seguirá creciendo superando fácilmente los volúmenes
de información que mantienen las empresas actualmente
[11]. Velocidad. - La creciente generación de
información se asocia con la necesidad de utilizar estos
datos más rápidamente; GPS, teléfonos móviles,
medidores inteligentes generan datos en cada fracción de
segundo para varias métricas diferentes y así se genera
un flujo constante de información que tiene que ser
tratada con el tiempo, teniendo en cuenta que si estos
datos no se convierten en información útil carecen de
valor [12]–[15].
Fig. 1 Tratamiento de datos de una infraestructura de
medición inteligente.
2. Compresión de datos sin perdida.
Se denomina algoritmo de compresión sin pérdida a
cualquier procedimiento de codificación que tenga como
objetivo representar cierta cantidad de información
utilizando u ocupando una fracción menor en unidad de
almacenamiento de datos establecida, siendo posible una
reconstrucción exacta de los datos originales.
La compresión sin perdidas es una técnica que consiste
en la garantía de generar un duplicado exacto del flujo de
datos de entrada después de un ciclo de compresión /
expansión. Es generalmente implementada usando uno o
dos diferentes tipos de modelos: estático o basado en
diccionario.
Dentro de las técnicas de compresión de datos, y
atendiendo a la reversibilidad de la información original,
hay dos grandes familias:
Técnicas de compresión "lowless" o sin perdida (para
datos en los que es imprescindible que no se pierda nada
de información, como por ejemplo registros de bases de
datos, ficheros ejecutables, hojas de cálculo...etc).
Técnicas de compresión "lossy" o con perdida (para
datos en los que se permite cierta pérdida de información
"sin que se note demasiado", como por ejemplo en
ficheros en MP3, imágenes en JPEG, PNG...etc. Aquí
una pequeña disminución en la calidad final no se nota
demasiado, pero influye muy positivamente en la
reducción del peso del fichero). Estos últimos no entran
dentro del presente trabajo.
El modelo estático lee y codifica mientras utiliza la
probabilidad de aparición de un carácter. Su forma más
simple usa una tabla estática de probabilidades, en el
inicio generar un árbol de Huffman tenía costos
significantes por tanto no siempre era generado, en su
lugar se analizaban bloques representativos de datos,
dando una tabla de frecuencia característica. Entonces los
árboles de Huffman se generaban y los programas tenían
acceso a este modelo estático. Pero utilizar un modelo
estático tiene sus limitaciones. Si un flujo de entrada no
concuerda bien con la previamente estadística
acumulada, la relación de compresión se degradaría,
posiblemente hasta el punto de que el flujo de datos
saliente fuese tan largo como el entrante. Por tanto, la
siguiente mejora obvia fue construir una tabla estática a
cada flujo de entrada único.
El modelo basado en diccionario usa un código simple
para reemplazar cadenas de símbolos, los modelos
estáticos generalmente codifican un símbolo a la vez. El
esquema de compresión basada en diccionario utiliza un
concepto diferente. Lee una entrada de datos y observa
por grupos de símbolos que aparecen en el diccionario.
Si una cadena concuerda, un indicador o índice en el
diccionario puede salir en lugar del código del símbolo
Algunos algoritmos de compresión sin pérdidas son los
algoritmos Lempel-Ziv que incluyen LZ77, LZ78 y LZ-
W.
Este sistema de compresión se usa en compresores de
archivo (RAR, Gzip, Bzip, zip, 7z, ARJ, LHA) y de
disco, también en imágenes (PNG, RLE) y en algún
formato de audio (FLAC, Monkey's Audio), en video es
menos común, pueden ser usados para su captura y
edición, pero no comercializada para reproducción
doméstica.
3. Algoritmo de Hufman.
El algoritmo para la compresión de datos sin pérdida
de datos desarrollado por David Huffman en el Instituto
Tecnológico de Massachusetts en 1952, se basa en la
frecuencia de ocurrencia de los caracteres presentes en el
archivo a comprimir [25]. El algoritmo Huffman está
basado en codificación estadística, lo que significa que la
probabilidad de un símbolo tiene una directa relación con
el tamaño de su representación, es decir, a mayor
probabilidad de ocurrencia de un símbolo, menor será el
tamaño de su representación en bits [28]. Para realizar la
codificación Huffman, se debe realizar primero un
ordenamiento de los símbolos en orden creciente según
sus probabilidades. Los dos símbolos menos probables se
agrupan en un pseudosímbolo cuya probabilidad es la
suma de las probabilidades de los símbolos fusionados
[26]. Los restantes símbolos son nuevamente ordenados
en función de sus probabilidades, combinando los dos
menos probables y sumando sus probabilidades en uno
nuevo reiteradamente. El proceso se repite hasta que todo
el árbol generado se reduce a un símbolo con
probabilidad igual a la unidad.
Este trabajo está enfocado al tratamiento de BigData
antes de su almacenamiento, con el objetivo de reducir
significativamente la cantidad de información a ser
almacenada, para lo cual se toman en cuenta los atributos
que presenta un BigData generado por AMI; se lo
implementara por medio de un algoritmo que me permita
la reducción de datos adecuada de acuerdo al tipo de
variable a ser almacenada, sin eliminar datos pero si
tomando en cuenta la redundancia de los mismos, para
posteriormente establecer una codificación de mi
información y así reducir aún más el volumen de
información a ser almacenada. Lo cual me permitirá
almacenar una mayor cantidad de datos almacenada en
los mismos servidores permitiéndome de esta manera
tener una base de datos más extensa para poder realizar
una proyección a la demanda más confiable, sin la
necesidad de invertir en nuevos servidores.
Actualmente vivimos en un mundo rodeado de
generación de información que nos rodea sin que en
muchas ocasiones nos demos cuenta de ello; en la figura
1 tenemos una infraestructura de medición inteligente
que envía constantemente datos a los respectivos
concentradores de información, para de esta manera
transmitirla hacia los servidores de almacenamiento de
información, en donde previamente se implementa el
tratamiento de datos propuesto.
4. Normas para la recepción de los artículos
En una infraestructura de medición inteligente los
datos obtenidos son miles de millones al día, por lo que
se propone una solución antes de su almacenamiento para
de esta manera disminuir la cantidad de datos a ser
almacenados y así aumentar la capacidad de nuestros
equipos de almacenamiento sin tener que compra nuevos
equipos de una mejor capacidad.
Para lo cual se realiza una clasificación de los datos
por medio del algoritmo de Huffman el cual consisten en
tener en un conjunto de datos S, y clasificarlos en un
conjunto W de acuerdo a las características eléctricas del
mismo, para finalmente almacenarlos en relación a la
frecuencia de cada uno de los datos y finalmente
almacenar el camino que lleva a cada uno datos
ahorrando caracteres en el almacenamiento.
 S={a1,a2,……,an} [1]

En la ecuación 1 se realiza la creación de los datos a

ser tratados.

W={w1,w2,……,wn} [2]
En la ecuación 2 se crean los rangos de las frecuencias
de un dato para posteriormente almacenar la frecuencia
del mismo.

Si an≤wn y an<wn+1 [3]

Posteriormente en la ecuación 3 se realiza la

comparación de rangos de frecuencias de los datos a ser
procesados
fn=0 [4]
En la ecuación 4 se hace una inicialización del
contador de datos con una determinada frecuencia.
fn=fn+1 [5]
En la ecuación 5 tenemos un contador de datos.
F={f1,f2,……,fn} [6]
Finalmente almacenamos nuestros datos en un
conjunto F como lo muestra la ecuación 6, para
posteriormente solo almacenar su ruta mediante el árbol
de Huffman.
Este es un algoritmo que es útil para la codificación
de datos si se requiere tener un ahorro de memoria. Se
puede notar como aumenta la eficiencia, y como los bits
disminuyeron mucho, en comparación a los que se
usarían realmente si consideramos a cada char como un
byte.
Fig. 2 Procesamiento de datos antes de la compactación.
Como se observar en la figura 2 el tiempo no se ve
afectado cuando tenemos poca cantidad de datos;
podemos observar que el tiempo que toma procesar los
datos es insignificante en los en el primer millón de datos,
pero aumenta y se mantiene en los dos, tres y cuatro
millones de datos, y finalmente aumenta drásticamente
en los 5 millones de datos en comparación a un millón de
datos.
El caso que se está analizando es de niveles de voltaje, a
nivel residencial por lo que en la mayoría de tiempo se
mantendrá valores de 120 V; cómo podemos observar en
la figura 3, tenemos una frecuencia de datos entre 119V
y 120 V, lo que me permite una reducción más
significativa de tiempos de procesamiento de
información. Debido a que entre mayor sea la cantidad
de datos que se repiten mayor es la compactación de
datos que se puede realizar.

5. Evaluación y aceptación de artículos

Para el análisis de resultados se ha tomado en cuenta

diferentes cantidades de datos, a las cuales se les ha
realizado la compactación anteriormente propuesta.

Fig. 3 Frecuencia de datos de uno, dos, tres, cuatro y
cinco millones de datos.
Una vez realizada la compactación de datos por medio
del algoritmo propuesto, tenemos una reducción de
tiempos de procesamiento de datos significativa; como se
observa en la figura 4; cuando tenemos un millón de
datos los tiempos de procesamiento son básicamente los
mismos, pero si aumenta la cantidad de datos a ser
procesado los tiempos de procesamiento disminuyen con
tan solo tener tres, cuatro y cinco millones de datos y
disminuye significativamente cuando tenemos cinco
millones de datos, por lo que entre mayor sea la cantidad
de datos mis tiempos de respuesta disminuirán más.
Fig. 4 Tiempos de procesamiento de datos de una
infraestructura de medición inteligente.
6. Conclusiones
Cuando compactamos una cantidad pequeña de datos por
medio de nuestro algoritmo los tiempos de
procesamiento de datos no disminuyen casi nada o su
disminución no es significativa, pero entre mayor sea la
cantidad de datos compactados por nuestro algoritmo, los
tiempos de proceso disminuyen drásticamente; esto se
debe a que entre mayor sea la cantidad de datos a ser
procesador mayor es la frecuencia de los mismos, por lo
que la compactación se realiza de una forma más notoria;
sin afectar la información.
En una infraestructura de medición inteligente se pueden
compactar muy fácilmente los datos, y obtener resultados
más notorios; esto se debe a que los niveles de voltaje
serán constantes o se mantendrán en rango por un largo
periodo de tiempo, lo que hace que la frecuencia de un
dato sea alta favoreciendo a la compactación de datos; y
es fácil darse cuenta que es mejor almacenar un dato con
su respectiva frecuencia que almacenar el mismo dato un
sin número de veces.
Para el presente caso de estudio solo se tomó en cuenta
una variable de medición de un medidor inteligente el
cual fuel el voltaje y además fue de un solo medidor
inteligente; obteniendo resultados notorios en frecuencia
de datos y en tiempos de procesamiento de datos; por lo
que si entre mayor es la cantidad de datos a ser procesado
por el algoritmo propuesto, el algoritmo será muy
efectivo ante un sistema de red inteligente completo en
donde se procesaran más variables y fácilmente un millón
de veces más datos que los propuestos; obteniendo
resultados muy favorables y ahorrándonos dinero en
inversiones de nuevos servidores de almacenamiento de
datos.
Si se realizara una compactación de datos en cada
concentrador que tenemos en una infraestructura de
medición inteligente, no solo se reducirían los tiempos de
almacenamiento de dato, sino que también los tiempos de
envió de información.
7. Agradecimientos
Los autores agradecen la colaboración prestada al Doctor
Esteban Inga por la revisión de este documento.
8. Referencias
[1] S. A. Aly, M. Hill, and A. N. Model, “Raptor
Codes Based Distributed Storage Algorithms
for Wireless Sensor Networks,” pp. 2051–2055,
2008.
[2] A. G. Andreou et al., “Bio-inspired System
Architecture,” pp. 1–6, 2016.
[3] F. Carvalho and A. Cartaxo, “Study on
ElectricalPower Distribution Among Coexisting
OFDM-Based Wired- Wireless Signals Along
Long-Reach Passive Optical Networks,” vol. 5,
no. 7, pp. 813–824, 2013.
[4] C. Chelmis, J. Kolte, and V. K. Prasanna, “Big
data analytics for demand response: Clustering
over space and time,” 2015 IEEE Int. Conf. Big
Data (Big Data), pp. 2223– 2232, 2015.
[5] S. Das and S. K. Das, “Leveraging Network
Structure in Centrality Evaluation of Large Scale
Networks,” pp. 579–
586, 2015.
[6] [R. Dutta, “Improved Self-Healing Key
Distribution with Revocation in Wireless Sensor
Network,” pp. 2965–2970,2007.
[7] C. Feng, W. N. Roberto, F. R. Kschischang, D.
Silva, and Y. A. X. Bz, “Communication over
Finite-Ring Matrix Channels,” pp. 2890–2894,
2013.
[8] C. Gómez-quiles, S. Member, and A.
Gómez- exposito, “State Estimation for Smart
Distribution Substations,” vol. 3, no. 2, pp. 986–
995, 2012.
[9] P. Grover and R. Johari, “BCD: BigData,
cloud computing and distributed computing,”
Glob. Conf. Commun. Technol. GCCT 2015, no.
Gcct, pp. 772–776, 2015.
[10] L. Harn and C. Hsu, “Predistribution Scheme
for Establishing Group Keys in Wireless Sensor
Networks,” vol. 15, no. 9, pp. 5103–5108, 2015.
[11] H. Hashem and D. Ranc, “A review of
modeling toolbox for BigData,” 2016 Int. Conf.
Mil. Commun. Inf. Syst., no. May, pp. 1–6, 2016.
[12] K. Huang, S. Member, M. Kountouris, S.
Member, and V. O. K. Li, “Renewable Powered
Cellular Networks : Energy Field Modeling and
Network Coverage,” vol. 14, no.
8, pp. 4234–4247, 2015.
[13] L. Junzhi, “Design of a dual channel high-
speed wideband synchronous data acquisition
system,” pp. 295–299, 2015.
[14] A. Lunai and P. Rodriguezi, “Identification and
Maximum Power Point Tracking of Photovoltaic
Generation by a Local Neuro-Fuzzy Model,” pp.
1019–1024, 2012.
[15] P. J. W. Mark and D. Ph, “Adaptive predictive
run- length encoding for analogue sources,” vol.
123, no. 11, pp.1189–1196, 1976.
[16] G. Matsliach and O. Shmueli, “A Combined
Method for Maintaining Large Indices in
Multiprocessor Multidisk Environments,” vol.
6, no. 3, 1994.
[17] H. Mi and X. Wang, “4000 usd to 8000,” p. 7.
[18] K. N. Oikonomou, R. K. Sinha, B. Kim, and R.
D. Doverspike, “Performability Analysis of a
Metropolitan Area Cellular Network,” pp. 141–
148, 2015.
[19] H. Packard and K. Sinha, “Energy-Efficient
Communication : Understanding the Distribution
of Runs in Binary Strings,” 2012.
[20] G. Pandurangan,“A Universal Online Caching
Algorithm Based on Pattern Matching,” no. 1,
pp. 1–5.
[21] F. Pong, N. Tzeng, and S. Member, “SUSE :
Superior Storage-Efficiency for Routing Tables
Through Prefix Transformation,” vol. 18, no. 1,
pp. 81–94, 2010.
[22] Y. Pradhananga, S. Karande, and C. Karande,
“CBA: Cloud-based bigdata analytics,” Proc. -
1st Int. Conf. Comput. Commun. Control Autom.
ICCUBEA 2015, pp. 47–51, 2015. [23] S.
Russell, I. Gorton, and K. Burston, “Distribution
+ Persistence = Global Virtual Memory A
Position Paper,” pp. 96–99, 1992.
[24] L. Samarakoon and K. C. Sim, “Factorized
Hidden Layer Adaptation for Deep Neural
Network Based Acoustic Modeling,” vol. 24, no.
12, pp. 2241–2250, 2016.
[25] J. Tan, L. Li, and Y. Zhang, “Asymptotic
Mandelbrot Law for Some Evolving Networks
*,” vol. 17, no. 3, pp. 310–312, 2012.
[26] A. Thomasian and Y. Tang, “Performance,
Reliability , and Performability Aspects of
Hierarchical RAID,” no. 1, 2011.
[27] A. Vlachou and C. Doulkeridis, “Efficient
Routing of Subspace Skyline Queries over
Highly Distributed Data,” vol. 22, no. 12, pp.
1694–1708, 2010.
[28] “The Loop Coverage Comparison Between TCM
and Echo Canceller Under Various Noise,” no.
8610844, pp. 1058–1067, 1986.