UNIDAD DIDÁCTICA 2

Lenguajes de
programación y
usos de Big Data

Subdirección Nacional de Proyección Institucional

 Escuela Superior de Administración Pública
ESAP

Unidad Didáctica
Lenguajes de programación y usos de
Big Data

Autor
Norbey Mejía Chica

Equipo de producción de la Dirección de

Entornos y Servicios Virtuales-ESAP Corrección
de estilo, acompañamiento pedagógico, diseño
instruccional, diseño gráfico y virtualización.

Fecha última
Fecha últimarevisión
versión
Abril 2022
Marzo de 2023

ESAP ha verificado, hasta donde es posible, que el contenido de los enlaces web citados y presentados en este curso sean
verídicos y que correspondan; sin embargo, y debido a la naturaleza dinámica de internet, ESAP no puede responsabilizarse
por el correcto y adecuado funcionamiento de los mismos.

La mayoría de las imágenes de este documento han sido compradas a través de: https://www.shutterstock.com

2
 Unidad 2. Lenguajes de programación y usos de Big Data

Contenido
Objetivo 4
Resumen 4
Lenguajes de programación y usos de Big Data 5
Conceptos generales sobre lenguajes de programación 6
Lenguaje R 6
Lenguaje Python 8
Ejemplos de aplicaciones de la ciencia de datos y Big data en el mundo actual 10
Ciudades inteligentes y transporte 10
Educación 12
Salud 13
Industria automotriz 13
Agricultura y medioambiente 14
Procesos industriales 15
Compras 15
Usos gubernamentales 16
Grandes jugadores en el mercado de Big data 17
Seguridad y privacidad en los ambientes de Big Data 19
Seguridad 20
Privacidad en ambientes de Big data 21
Gobierno de Datos 21
Principio que deben regir el gobierno de datos 23
Beneficios para la entidad al estructurar gobierno de datos 24
Transformación digital en entornos del Gobierno 25
Referencias 27
Glosario 28

3
 Objetivo
Identificar los usos actuales de los ambientes Big Data, con
el fin de comprender sus potenciales usos, los alcances del
machine learning, las ventajas de los servicios soportados en
analítica de datos y la importancia de la ciberseguridad.

Resumen
En este capítulo abordaremos aspectos relacionados con los
lenguajes típicos utilizados para hacer proyectos de analítica,
las múltiples aplicaciones de Big Data en el mundo actual, las
amenazas que tienen los datos y la mejor forma de entender
el proceso de gobierno de datos en una Entidad.

Las temáticas que serán tratadas dan alcance a la revisión de

los lenguajes de programación R y Python y sus caracterís-
ticas, ejemplos de aplicaciones que hoy tienen la ciencia de
datos y Big Data, los grandes jugadores en el mercado de Big
Data, la seguridad y privacidad en los ambientes de Big Data
y el concepto sobre gobierno de datos.

4
Lenguajes de
programación y
usos de Big Data
 Conceptos generales sobre
lenguajes de programación
El desarrollo de la ciencia de datos ha estado favo-
recido por el uso de lenguajes de programación
orientados hacia la analítica y la inteligencia artifi-
cial, los cuales están caracterizados por ser lengua-
jes interpretados, es decir, no requieren ser compi-
lados para ser ejecutados. Es importante recordar
que existen lenguajes de programación que gene-
ran códigos “objeto” comúnmente los reconoce-
mos porque su extensión al nombrar los archivos es
“.exe”. Estos lenguajes normalmente se van ejecu-
tando al momento de irse escribiendo.

Otros factores que los identifican están relaciona-

dos por tener estos lenguajes matemáticos y esta-
dísticos que facilitan sus usos para propósitos de
análisis complejos de datos. Dos lenguajes de uso
común por los profesionales que laboran en ciencia
de datos son el “R” y el “Python”. Revisemos las ca-
racterísticas de estos.

Lenguaje R

Como habíamos mencionado este lenguaje eje-

cuta instrucciones directamente sin necesidad de
ser compilado para llevar el lenguaje a la máquina.
Se utiliza principalmente para hacer computación
estadística y gráfica debido a su potencial usando
librerías de recursos matemáticos como modelos
lineales y no lineales. Variables estadísticas comu-
nes, métodos de agrupación, series de tiempo en-
tre otras (UNIR, 2019).

Este lenguaje al igual que Python se desarrolla a

partir de ambientes colaborativos y abiertos, quiere
decir esto, que son muchos los programadores que
trabajan libremente generando nuevos recursos de
programación y sus publicaciones se suman unas a
otras, para robustecer cada vez más este lenguaje
computacional.

6
 Unidad 2.
Características funcionales de “R”:
• Gran capacidad para recolectar y aplicar
herramientas de análisis de datos.
• Buenas capacidades para visualizar datos a
través de representaciones gráficas.
• Buen manejo y almacenamiento de datos a
gran velocidad.
• Facilidades para documentar el código y fa-
cilitar su entendimiento por quienes lo leen.
• Integración fácil con otros lenguajes de pro-
gramación como C, C++, Perl y Python.
• Integración con diversas bases de datos.
• Creación de informes automáticos conforme
a las necesidades de los usuarios.
• Disponibilidad de herramientas de análisis
estadístico.
Lenguajes de programación y usos de Big Data
Áreas de uso de “R”:
Es usado en todo el ciclo de vida de uso de los
datos desde su recolección hasta su aplicación,
por ejemplo, en los siguientes escenarios:
• Captura de datos, ya que puede manejar da-
tos de diversas fuentes como bases de datos
y archivos de texto, entre otros.
• En preparación de datos, pues facilita la re-
visión inicial de datos para determinar datos
inconsistentes, nulos, duplicados, máximos y
mínimos entre otros.
• Presentación de resultados, ya que tiene
facilidad para elaborar informes de fácil en-
tendimiento y comprensión por parte de los
usuarios finales.
• Aplicación de los resultados obtenidos, usa-
do para análisis de series de datos históricos
y modelos de predicción.
Empresas reconocidas que usan “R”:
Es usado en compañías tales como: IBM, Micro-
soft, Oracle, Google, Facebook, Twitter, Bank of
América entre otros.
7
 Lenguaje Python
Al igual que “R”, este es un lenguaje de código
abierto, gratuito, simple y fácil de entender. Tam-
bién utiliza una sintaxis sencilla y dispone de una
amplia biblioteca de herramientas. Es un lenguaje
de amplio uso por profesionales vinculados con la
inteligencia artificial.
Características funcionales de “Python”:
• Capacidades para usar herramientas diver-
sas de análisis de datos.
• Recursos que facilitan la creación de páginas
web.
• Es “multiparadigma”, es decir, multipropósito
lo que facilita su aplicación para desarrollos
de modernos analíticos, creación de web si-
tes, así como creación de código para Machi-
ne learning o Deep learning.
• Desarrollo permanente de nuevas librerías
de software y aplicaciones.
• Funciona igual que “R” en diferentes siste-
mas operativos como Windows o Linux.
Áreas de uso de “Python”:
• Desarrollo web, sus múltiples marcos de de-
sarrollo facilitan integrarse con otros protoco-
los de programación, reduciendo tiempos de
desarrollo.
• Uso en ciencia de datos.
• Usos en comercio electrónico.
• Facilidad en visualización de datos mediante
gráficas y tablas.
8
• Aplicaciones de inteligencia artificial y Ma-
chine learning, gracias a sus capacidades de
tratamiento de datos y reconocimiento de
imágenes.
• Desarrollo de juegos (Capacitarte blog, s.f.).
Empresas reconocidas que usan “Python”:
Es usado por compañías tales como: Netflix, NASA,
Facebook, YouTube, Instagram entre otras.
¿Qué lenguaje estudiar si estoy interesado en
ciencia de datos?
Las preguntas claves que un interesado debe ha-
cerse para seleccionar el lenguaje para estudiar
son las siguientes:
• ¿Qué perfil tengo? Tiene que ver con la
experiencia previa de que se disponga, si es
amplia como desarrollador de software o
como analista de datos.
• ¿En qué deseo trabajar? Está relacionado
este cuestionamiento con el conocer si el
interesado tiene perfil muy técnico o si la ex-
periencia está asociada a decisiones típicas
de un negocio.
A partir de resolver estos interrogantes puede de-
terminar qué lenguaje es el más recomendado.
 Unidad 2. Lenguajes de programación y usos de Big Data

Figura 1.
¿Qué herramientas usar?
¿Que herramientas usar?

TRADICIONAL

Bases de datos relacionales SAS

Archivos IBM
R
Phyton

ALMACENAMIENTO PROCESAMIENTO

HDFS Hive
No SQL Pig
Map Reduce
Spark

BIG DATA

Fuente: elaboración propia

Como lo vemos en la figura anterior si se tienen habilidades como desarrollador de

software y se mueve más en ámbitos de decisiones de negocio, ambos lenguajes pue-
do utilizarlos. Si el perfil es negocio y se tiene experiencia como analista de datos el
lenguaje “R” que es el recomendado. Si el perfil es técnico y la mayor experiencia es
como desarrollador, “Python” es una buena alternativa. Si se es un técnico que gusta
del análisis de datos ambos lenguajes son recomendados.

9
 Ejemplos de aplicaciones de la
ciencia de datos y Big data en el
mundo actual
La ciencia de datos hoy está inmersa en múltiples
aplicaciones que van desde estrictamente científi-
co, la investigación aplicada hasta aplicaciones co-
merciales que apoyan los procesos de crecimiento
y penetración de las empresas en sus mercados
objetivos. La conjugación de diversas tecnologías
emergentes tales como el Internet de las cosas
(IoT), la robotización mediante (RPA – Robotic Pro-
cessing Automation), la computación en la nube,
ha permitido la proliferación de códigos basados
en lenguajes de programación orientados a la in-
teligencia artificial, que están permitiendo avances
vertiginosos en diversos frentes de trabajo del ser
humano.

Ciudades inteligentes y transporte

Las Smartcities o ciudades inteligentes están sien-

do un campo de acción de alto interés para la in-
dustria relacionada con Big Data y aplicaciones de
inteligencia artificial, debido a la necesidad de ana-
lizar grandes volúmenes de datos y generar repor-
tes en tiempo real. Algunos ejemplos en los cuales
se presenta un amplio espacio de aplicación son los
siguientes (Barclays Investment Bank, 2020):

10
 Unidad 2.
Análisis de servicios de seguridad ciudadana.
Es necesario usar Big Data para recolectar datos
que se conviertan en información oportuna reu-
niendo diversas fuentes de datos en una ciudad.
Por ejemplo, el integrar datos provenientes de las
cámaras de seguridad instaladas en las calles, con
los reportes que por diferentes medios hacen los
ciudadanos de diversos incidentes; compilar, com-
parar y extraer información histórica de bases de
datos de historial delictivo enlazando las unidades
de reacción de los organismos de seguridad de una
ciudad, son una necesidad que las administracio-
nes de los municipios y ciudades tienen por hacer
en el mundo actual.
El integrar en tiempo real y a través de streaming
toda la información disponible, promoverá mejores
ejercicios de control y protección al ciudadano. Ciu-
dades como Londres, Singapur, Seattle son ejemplo
de estos procesos de fusión de diversas fuentes de
información con óptimos resultados.
Los ciudadanos por su parte, también se verán fa-
vorecidos al tomar decisiones respecto de su mo-
vilidad y sitios de destino dependiendo del estado
de seguridad que ofrecen tales sitios y el compor-
tamiento del tránsito vehicular hasta ellos, mientras
reciben información inmediata en sus dispositivos
móviles.
Lenguajes de programación y usos de Big Data
Optimización del flujo de transporte en las vías.
Obtener datos en línea de los flujos vehiculares en
las diferentes vías de la ciudad apoyados en sen-
sores, permitirán hacer análisis para determinar la
programación de cambios en los semáforos viales.
De esta manera, se pasa de una programación de
pasos en los cruces viales, a decisiones autónomas
de los semáforos producto de la aplicación de Ma-
chine learning, lo cual generará la aplicación de
cambios automáticos, dependiendo de lo que real-
mente suceda en el momento en las calles. Así mis-
mo, los conductores dispondrán de información en
tiempo real del estado de las vías, para tener la ca-
pacidad de reacción y decidir sobre nuevas rutas.
Servicios públicos inteligentes.
Los millones de habitantes que pueblan las ciuda-
des generan a través del uso de los servicios públi-
cos grandes volúmenes de datos. Así, por ejemplo,
los consumos de energía en los hogares y en las
industrias están produciendo múltiples datos per-
manentemente. La aplicación de Big Data a los mi-
llones de cifras relacionadas permitirá que sistemas
autónomos decidan sobre los flujos energéticos
que deben colocarse en diferentes partes de una
ciudad, pronosticar los flujos de entrega y determi-
nar la presencia de fallas o fraudes en los procesos
de consumo. Este tipo de análisis podrá hacerse
igualmente en otros servicios como el acueducto,
gas y telefonía por citar algunos.
11
 Educación

El periodo pospandémico ha dejado muchas lec-

ciones en todas las naciones. Una de ellas es el cam-
bio en los paradigmas de los procesos educativos
relacionados con el tiempo y con el espacio para su
ejecución. Independientemente del nivel del desa-
rrollo de cada país, es claro que la virtualización es
una alternativa y la necesidad del uso de medios
computacionales para estudiantes y profesores po-
tencia los ejercicios de enseñanza y aprendizaje.

Ahora imaginen que todas las bibliotecas públicas

y privadas dispongan de medios que les faciliten ser
interoperables y que los estudiantes puedan acce-
der sin restricciones a todas las fuentes de consulta
disponibles. Ejercicios de Big Data soportados en
máquinas de aprendizaje automático, permitirán
determinar cuáles son las áreas de conocimiento
que más necesitan ser soportadas en determina-
das instituciones y para cuáles estudiantes en es-
pecífico.

Herramientas computacionales que le entreguen

y sugieran a los estudiantes libros, capítulos, te-
máticas donde encontrar información que les sea
oportuna y efectiva, esto asociado a los promedios
de notas que evidencian debilidades en el apren-
dizaje, sería una loable aplicación que promueva el
desarrollo en la educación de un país. Podemos así
mismo suponer el efecto positivo en la gestión de
asistencia de profesores, tutores y entes responsa-
bles de administrar decisiones en este sector.

12
 Unidad 2.
Salud
Una de las aplicaciones de mayor valor para el ser
humano cuando se usan Tecnologías de la Infor-
mación y las Comunicaciones, tiene que ver con la
mejora en los sistemas de atención a la salud. Usar
Big Data junto con las diversas tecnologías asocia-
das tal como el Cloud Computing y la analítica de
datos, permitirá lograr altas eficiencias en ese tipo
de servicios. Veamos algunos casos:
• Seguimiento de enfermedades
Uno de los sectores que producen mayores cau-
dales de datos en un país, es el relacionado con los
procesos de atención ciudadana relacionados con
la salud. La integración de datos, previendo todos
los esquemas de seguridad y protección a la infor-
mación sensible y personal, que pueda hacerse de
las entidades prestadoras de salud, facilitará la toma
de decisiones oportunas en lo individual y en lo co-
lectivo, para determinar acciones preventivas más
que reactivas, que busquen preservar la vida de los
ciudadanos. Obtener perfiles de patologías, cua-
dros clínicos, enfermedades comunes por regiones,
géneros, edades, niveles sociales, entre otros, facili-
tarán la creación de políticas públicas que promue-
van esta vez de manera real y sensata, procesos de
promoción y prevención de la salud (PyP).
• Potenciando el uso del Internet de las
cosas.
La fabricación de sensores como parte del rápido
crecimiento del (IoT) ha tenido para los procesos
de salud un alto impacto. Hoy existen y se siguen
produciendo masivamente, dispositivos que per-
miten detectar remotamente señales biométricas
sobre la salud de pacientes, que están en sus casas
o lugares de trabajo. Ya es común el uso de herra-
mientas conectadas a la piel u órganos del cuerpo
humano, las cuales permiten monitorear el estado
de pacientes, permitiendo alertas tempranas so-
bre su funcionamiento e incluso la dosificación de
medicación a través de Internet. En la mejora de
la calidad de la atención y la calidad de vida de los
pacientes, la inteligencia artificial está permitiendo
Lenguajes de programación y usos de Big Data
decisiones relacionadas con terapéuticas que par-
ten del análisis automático de los datos de salud del
paciente. Administrar datos provenientes de pulse-
ras, cinturones y relojes inteligentes, podrán apoyar
el seguimiento individual de pacientes y de profe-
sionales de la salud, pudiéndose a través de estas
aplicaciones advertir el apego de los pacientes a las
recomendaciones que se le suministran. Así mis-
mo, la analítica de datos permitirá a las empresas y
a los mismos Gobiernos, conocer el perfil saludable
de las personas y en consecuencia tomar las accio-
nes más ajustadas a la realidad existente.
Algoritmos que procesarán información del estado
de salud de un paciente en tránsito en una ambu-
lancia, por ejemplo, facilitarán el desplazamiento
oportuno hacia los centros asistenciales que ten-
gan disponibles los especialistas, equipos o espa-
cios físicos de atención. Esto puede lograrse por la
interconexión e interoperabilidad que podrá hacer-
se y debe buscarse entre todas las empresas que
prestan servicio de salud en un país.
Industria automotriz
La revolución en la industria de los automóviles
generará también gran producción de datos rela-
cionados con el comportamiento en el funciona-
miento de los vehículos, como en los hábitos de
conducción. Este sin número de variables que se
acumulan permanentemente en los computado-
res instalados en estos medios de transporte, están
gestando nuevos modelos operativos para diversas
empresas.
Tal es el caso de las industrias de los seguros para
conductores, dado que los pagos de las primas por
aseguramiento, que típicamente están tasadas por
la edad de los conductores y los porcentajes de re-
clamación que evidencian, serán calculadas a partir
de variables en tiempo real que entregan los siste-
mas de procesamiento a bordo de los vehículos.
13
 De esta manera, Big Data permitirá procesar gran-
des y disímiles cantidades de datos relacionados
con las prácticas de conducción y manejo. Entonces
cifras relacionadas con variables tales como: formas
de frenado y aceleración, excesos de velocidad, si-
tios de parqueo, horas y días de desplazamiento de
los conductores, áreas geográficas donde se movi-
lizan; serán entre otras, variables que personalizan
las nuevas tarifas de los seguros, dado que la enti-
dad aseguradora podrá determinar para todos sus
clientes actuales y potenciales, los niveles de riesgo
asociados a sus comportamientos seguidos online
como actuales conductores.
A parte podemos decir que estos SmartCars, se en-
tregan no solo al conductor, sino también a otras
entidades como talleres, dealers (concesionarios),
fabricantes y aseguradores, información sobre con-
sumos de combustible, estados de los neumáticos,
aceleraciones, sensores de posición y proximidad
entre muchos otros datos. Otros datos que estarán
a la orden del día a partir de los computadores ins-
talados en los vehículos son:
• Monitoreo y control de tráfico de las ciuda-
des.
• dentificar información sobre lo que está des-
compuesto en un auto.
• Monitoreo inalámbrico de presión de los
neumáticos.
• Gestión inteligente de la energía necesaria y
consumida.
• Autodiagnóstico, acelerómetros, sensores de
posición, de presencia y de proximidad.
• Análisis previo en tiempo real, sobre la mejor
ruta a seleccionar para desplazarse a un sitio.
• Localización por GPS.
14
• Control de la velocidad del vehículo.
• Vehículos autónomos, sin conductor, que
funcionan a partir de servicios de la IoT.
Agricultura y medioambiente
• Pronósticos sobre cambio en el clima
Hoy existen múltiples dispositivos que son insta-
lados en el campo y en las ciudades, estos buscan
tomar información sobre el estado del clima, tem-
peraturas, humedad, velocidad y dirección del vien-
to, radiación lumínica, etc., los dispositivos captan y
transmiten streaming, los cuales son procesados en
centros de información utilizando plataformas de
Big Data.
Con esta información sumada a otros datos prove-
nientes de satélites y de algunos drones, permitirá
establecer con muy alta precisión, los fenómenos
naturales que evidencian diversas zonas de la tie-
rra. En el corto plazo, las labores agrícolas, la planea-
ción de siembras y cosechas entre otras actividades
campestres, podrán realizarse con altos niveles de
certidumbre y bajos riesgos de pérdida. Esta aplica-
ción tecnológica, es de alto valor para las personas y
empresas dedicadas al sector agropecuario.
• De otra parte, el IoT permite recolectar datos
 Unidad 2.
a través de sensores de elementos conta-
minantes presentes en el medioambiente,
incluyendo las mediciones de ruido, la pre-
sencia de CO2. Aplicando ciencia de datos,
se puede decidir oportunamente nuevas
rutas o desplazamientos de las personas y
sus medios de transporte, para proteger la
salud de quienes ejercen labores en cam-
pos abiertos. Los datos de contaminación
ambiental, al ser enlazados con los organis-
mos responsables de administrar el tráfico
vehicular y peatonal, permitirán divulgar a
través de dispositivos móviles, alertas tem-
pranas sobre los riesgos relacionados.
Es ideal que las bases de datos e información
analítica que se consolida en los diferentes países
puedan ser compartida así mismo con otros a fin
de establecer patrones asociados con los niveles
de contaminación a mayor escala y prever impac-
tos sobre otras regiones adyacentes a los países.
Con esto, las medidas de control de protección al
medioambiente serían aún más oportunas y con
un efecto extendido a todos los que potencial-
mente se vieran afectados.
Procesos industriales
Las plantas de producción pueden ser seguidas
y monitoreadas a través de la instalación de sen-
sores en diversos de sus componentes. Así, por
ejemplo, módulos de fabricación en serie pueden
disponer de sensores inteligentes de movimien-
to, fuerza, carga, vibraciones, temperaturas, hu-
medades e incluso con cámaras inteligentes que
hacen reconocimiento de la fisonomía y compor-
tamiento de las diferentes partes que constituyen
la infraestructura de la planta de producción.
Los datos recopilados y procesados facilitan rea-
lizar mantenimientos predictivos, optimizando
los costos y tiempos relacionados con estas. Los
robots hoy son usados para labores de logística,
facilitar la gestión de almacenes, varios de ellos
que, estando dotados de software de aprendizaje
automático, harán más eficientes las actividades
Lenguajes de programación y usos de Big Data
de logística, producción, embalajes, empaques,
transporte de producto terminado y materia pri-
ma. Podrán pronosticarse planes de producción y
de entrega e incluso los costos relacionados con
materias primas, para calcular existencias de los
insumos, capacidades de almacenamiento y los
costos totales del proceso productivo.
Compras
Los ejercicios comerciales están logrando el mayor
provecho de la ciencia de datos, la analítica y las
plataformas de Big data. Un claro ejemplo lo cons-
tituyen Amazon y Mercado libre. Estas organizacio-
nes usando algoritmos de alta, siguen de manera
individual el comportamiento de compra de todos
sus clientes. Pueden predecir sus intenciones para
adquirir mercadería, hacer sugerencias, recomen-
dar productos y servicios afines y todo esto gracias
al almacenamiento de cada uno de los clic aplica-
dos y las rutas de navegación que hacen los ciber-
nautas a través de páginas web de estas empresas
o terceros relacionados. Amazon por citar un caso,
tiene en sus bases de datos información sobre lo
que compramos usando su plataforma, cantida-
des adquiridas, fechas, horas, sitios de compra, di-
rección ip de donde se compró, páginas visitadas,
entre muchos otros datos.
Las capacidades de geolocalización que tienen
los dispositivos móviles, les dan información per-
manente de nuestra ubicación. En el futuro próxi-
mo, no será extraño que solamente escribas en tu
móvil que necesitas y un vehículo de delivery te lo
entregará en unos cuantos minutos, pues ellos sa-
brán con gran rapidez, exactamente qué es lo que
deseamos adquirir.
Tecnologías relacionadas con RFID, etiquetas elec-
trónicas, lectores de códigos de barras por su par-
15
 te, entregarán en línea, información de inventarios
actuales, procedencia geográfica de productos,
vencimientos y control de calidad de los mismos.
Estos millones de datos para ser tratados y generar
los pronósticos que necesita la industria del retail,
están haciendo uso de arquitecturas de Big Data
para lograr sus objetivos.

Usos gubernamentales
Los estados podrán captar datos de cada uno de sus
ciudadanos aprovechando la masificación en el uso
de dispositivos móviles. En la mayoría de los países
incluyendo Colombia, hay más teléfonos celulares
que personas; y esos números están rebasados por
la cantidad de dispositivos de IoT que estarán dis-
persos en todas las ciudades. Las posibilidades de
interconexión para tales dispositivos móviles, harán
que se dispongan de diversos canales para que el
Estado pueda interactuar con el ciudadano. Podrán
entregarse al canal que más utilice un ciudadano,
las políticas públicas que el Gobierno considere les
sea de alto interés. Por ejemplo, dependiendo de
la región del país y la red social más usada, como
ejemplo es Facebook, TikTok, Instagram, etc., en-
tonces la data de interés puede ser publicada en
esos canales de mayor uso regionales.

La masificación de los medios de pago electróni-

cos, llevará entonces a los países a repensar las po-
líticas de uso de dinero en efectivo, ya que cada día
es aún más creciente el uso del pago digital.

Un Estado tendrá la posibilidad incluso de ejercer

mucho más control, al poder saber si se lo permitie-
ran, no solo donde se encuentran los ciudadanos,
sino también los sitios que frecuenta, con quien se
reúne, cuánto dinero gasta y en qué lo gasta. Esto
conlleva a realizar sin objeciones, estudios asocia-
dos sobre la privacidad necesaria de todos los ciu-
dadanos y otros derechos que les asisten.

16
Grandes jugadores
en el mercado de
Big data
 En la unidad 1 al referirnos a la analítica y sus dife- La disyuntiva de las empresas entre utilizar centros
rentes presentaciones, se hace referencia a las “5Vs” de procesamiento propios (on premise), o utilizar
que caracterizan una infraestructura de este tipo, servicios en la nube está sobre la mesa, sin embar-
velocidad, volumen, variedad, valor y veracidad. Un go es de suponerse que paulatinamente se estarán
factor determinante es el flujo de datos (cantidad) moviendo las empresas hacia esta última, pues es
que una empresa utiliza para catalogarse como claro entender que las capacidades de almacena-
una entidad que necesita Big data. Algunos auto- miento procesamiento, backup y seguridad, son de
res mencionan que el volumen debe estar por enci- mayor garantía desde estos gigantes de tecnología.
ma de los 100 Terabytes, pero bien podría pasar que Factores que han promovido su rápido crecimiento
una organización tenga un rango inferior de volu- en los últimos años son varios, siendo uno de ellos,
men, pero tiene presión con las otras 4 variables la coyuntura pandémica que vivió el mundo desde
mencionadas. Empresas como Amazon, Microsoft, el año 2020 y que obligó a muchas empresas a uti-
Google con AWS, Azure y Google Cloud acaparan lizar los servicios de computación en la nube como
la atención, por no solo cumplir con creces las 5Vs, un recurso estratégico.
sino también por el rápido crecimiento en las capa-
cidades de almacenamiento de datos con informa- Es difícil establecer diferencias notables entre estas
ción de todos sus usuarios. plataformas de servicio hegemónicas, ya que los
niveles de desarrollo e inversión en nuevos perfor-
Estas organizaciones ofrecen a todas sus empresas mances tecnológicos son pan de cada día al interior
usuarias, capacidades de almacenamiento, proce- de estas organizaciones (Jones, 2021).
samiento en diferentes presentaciones, como son:
SaaS, software como servicio; IaaS, infraestructura
como servicio; PaaS, plataforma como servicio. Por
esa variedad, oportunidad y seguridad en los servi-
cios, cada vez son más las empresas que ingresan a
sus portafolios de clientes. De otro lado se encuen-
tra el software libre (open source), con desarrollos
de gran fortaleza y uso ampliado como “Hadoop”
y otros productos relacionados. Es claro entender
que hoy en día hay completa interoperabilidad en-
tre estas plataformas de modo que una compañía
puede tener ecosistemas en los cuales varios de los
proveedores le suministren los servicios.

18
Seguridad y privacidad
en los ambientes de
Big Data
 Seguridad
El crecimiento superlativo en el número de dispo-
sitivos conectados a Internet, que se calcula en el
2025 llegue a los 100 billones conectados a la Red,
el reconocimiento del trabajo virtual como una po-
sibilidad para las organizaciones y centros de edu-
cación, han promovido así mismo serios riesgos en
la seguridad de la información.
El desconocimiento significativo de los usuarios de
computadores, en lo que respecta a los riesgos que
conlleva el descuidado uso que se haga de los me-
dios tecnológicos, ha facilitado la perpetración de
crímenes cibernéticos a pequeña, mediana y gran
escala.
Los ataques pueden ser originados desde el interior
de las mismas empresas (insiders) por parte de em-
pleados desleales o pueden provenir desde exterior
mediante las conexiones a Internet.
El observar noticias sobre grandes organizaciones,
entidades del estado y empresas de todo tipo, que
han sido vulneradas por acciones de hackeo a la in-
formación, da cuenta que el riesgo es para todos y
por ello la alfabetización en términos de la seguri-
dad de la información se vuelve una herramienta
de primer orden. Algunos riesgos típicos cuando
usamos Internet son los siguientes (Kaspersky, s.f.)
• Phishing onsite: este riesgo consiste en la
obtención de la información personal o
corporativa a través de engaños a los que se
expone el usuario, de modo que el victimario
se gana la confianza de su víctima haciéndo-
se pasar por una persona, un servicio o una
empresa de confianza. De esta manera lo
conduce a efectuar actividades que exponen
su reputación, su moral o su estado financie-
ro
20
• Spoofing: consiste en una suplantación de
la identidad de alguien en la web. Se realiza
cuando un usuario recibe enlaces a través de
páginas falsas (fakes), haciéndose pasar por
otra entidad y a través de un “clic” aparen-
temente confiable e inofensivo, el atacante
malicioso se hace a la información ajena,
para acceder a cuentas de correo electrónico,
ingresar a redes sociales u otra información
que sea de interés para sus fines indebidos.
• Spyware: los datos de un computador perso-
nal o un servidor quedan expuestos cuando
se instala un software espía en el computa-
dor de la víctima. Este código recopila infor-
mación sensible del computador o disposi-
tivo del usuario y lo transmite a una entidad
externa, a partir de la cual se inician acciones
fraudulentas relacionadas con estafas, ame-
nazas o extorsiones.
• Ramsomware: esta actividad ilícita es de uso
frecuente y expansivo y son bastantes las
organizaciones y ciudadanos que se están
viendo afectados por este tipo de malware.
Se caracteriza por una infección al sistema
operativo y los datos, de modo de que se
encripta o cifran los archivos evitando que
el computador sea usado; y para facilitar de
nuevo su uso, la víctima debe pagar un resca-
te normalmente a través de criptomonedas.
Es conocido normalmente como secuestro
de datos.
• Spamming: hace referencia al spam o co-
rreo basura. Es usado para poblar las cuen-
tas de correo de los usuarios con noticias,
ofrecimientos, imágenes que nunca fueron
solicitadas por el dueño del dispositivo. Esta
información de tipo publicitario, es enviada
por los atacantes masivamente para lograr
que algunos usuarios desprevenidos, caigan
en la estrategia de engaño o promoción no
solicitada permanentemente.
 Unidad 2.
• Wardriving: esta técnica fraudulenta con-
siste en detectar redes de wifi que estén
ausentes de seguridad, para que el atacan-
te pueda conectarse y utilizar los servicios
de datos que son propiedad de la víctima.
El wardriving toma su punto más álgido
cuando se logran penetrar a los sistemas
informáticos de la persona o de la empre-
sa, conocer y copiar información sensible
y utilizarla para defraudar a estos usuarios
afectados.
Son aún más los riesgos a los que estamos ex-
puestos al usar Internet, los cuales no serán de-
tallados en esta unidad. Cada día seremos aún
más dependientes de esta Red y por ello debe-
mos estar atentos, conociendo nuevos riesgos,
informándonos de las prácticas de ataque y esto
poder protegernos.
Privacidad en ambientes de Big
data
La transformación digital está moviendo a las
empresas hacia ambientes digitales cada vez ma-
yores. Podemos advertir que son ya infrecuentes
procesos de una organización que no estén im-
pactados por las tecnologías de la información y
las comunicaciones. La proliferación de datos y el
uso masivo de redes sociales genera diariamente
grandes caudales de datos. De acuerdo con es-
timaciones de revistas especializadas se estima
que para el 2025 serán creados 463 exabytes cada
día en todo el mundo, que por efectos de com-
paración es como si se llenaran con datos diaria-
mente más de 210.000.000 de DVD, la pregunta
es, ¿quién y cómo se protegen estos datos?; ¿qué
garantías le ofrecen a los ciudadanos que los da-
tos no serán mal usados, negociados o inadecua-
damente almacenados?
Lenguajes de programación y usos de Big Data
Es fácil deducir que son muchas las organizaciones
interesadas en el perfilamiento que los grandes ju-
gadores de Big Data, que tienen de los usuarios que
hacen uso de sus servicios informáticos. Ocasional-
mente escuchamos y leemos noticias relacionadas
con afectaciones a la dignidad de personas, repu-
tación de empresas e incluso inestabilidad de esta-
mentos gubernamentales por divulgaciones inde-
bidas a datos de carácter sensible. La legislación de
los Estados deberá promover y actualizar acciones
preventivas, normas y sanciones afines con estas si-
tuaciones. En Colombia la Ley 1581 de 2012 busca
proteger los datos personales de sus ciudadanos.
La dependencia de plataformas digitales, el uso de
dispositivos móviles, los servicios de corporaciones
a través de medios digitales, hacen que los usuarios
cada vez más entreguen datos personales, familia-
res y empresariales para que puedan ser visibles los
servicios que necesitan. Por ello la insistencia en
promulgar nuevas y permanente leyes, con actua-
lizaciones frecuentes, orientadas a la protección de
los datos de los individuos, donde nadie está en po-
testad para usar mal la información de la que no es
propietario, ni tiene autorización para usarla.
Se hace definitivo entonces que los estados y las
entidades públicas o privadas gestionen progra-
mas permanentes de capacitación orientadas a la
seguridad de la información, al cuidado de los da-
tos y a las mejores prácticas para consérvalos y pro-
tegerlos. No hay nada más dinámico que los riesgos
en el uso de Internet y de los recursos tecnológicos
asociados. Cada día emergen nuevos riesgos y nue-
vas amenazas, lo que debe conllevar a permanen-
tes acciones de actualización en los conocimientos
pertinentes en los usuarios de computadores.
Gobierno de
21
Datos
 Unidad 2.
Se ha estado analizando sobre la necesidad de
las entidades para evaluar sus procesos de pene-
tración paulatina a los ámbitos de Big Data, esto
por los altos volúmenes de información que tienen
recopiladas, como producto de la gestión que de-
sarrollan, resultado de su función natural desde el
momento que fueron creadas. Ahora bien, no se
puede pensar en Big Data sin antes no concebir
“small data”. Con ello hacemos referencia a iden-
tificar cuáles son aquellos primeros ejercicios, que
permiten conocer las tendencias de los ciudada-
nos o clientes de una corporación privada o enti-
dad pública, mostrados a partir de sus hábitos de
consulta o sus hábitos de consumo. Esas pistas son
con seguridad precursores de las tendencias que a
futuro orientarán las decisiones de los clientes.
Es poco probable hacerse a esos patrones iniciales
de comportamiento, cuando no hay una clara y es-
tratégica organización de los datos al interior de la
entidad y de los stakeholders relacionados, a saber,
los proveedores, clientes, propietarios, comunidad
impactada, aliados entre otros.
Surge entonces la necesidad de las entidades reco-
nozcan el estado de madurez que tienen sus datos,
de forma que se identifiquen las debilidades y for-
talezas de la arquitectura de datos, la cual es heren-
cia de los sistemas de información ya implantados,
de las metodologías de desarrollo utilizadas, de las
políticas de TI y de las políticas propias de la organi-
zación. El camino hacia Big Data debe estar prece-
dido por decisiones sobre la estructura, tipificación,
uso y almacenamiento de los datos. Estas reglas de
manejar eficientemente datos bajo un marco for-
mal del trabajo constituyen un gobierno de datos.
El gobierno de datos consiste en la capacidad de
una organización para gestionar el conocimien-
to que tiene sobre sus datos, de forma que pueda
responder a preguntas tales como: ¿qué sabemos
sobre nuestra información?, ¿de dónde provienen
esos datos?, ¿están estos datos alineados con la po-
lítica de la entidad? (Decreto 1008, 2018).
Lenguajes de programación y usos de Big Data
Principio que deben regir el gobier-
no de datos
La decisión de una corporación de establecer un
gobierno de datos para allanar el camino hacia
una futura incrementación de Big Data, debe ser
una decisión asumida como proyecto estratégico
de la organización a través de una estructura me-
todológica que facilite y garantice su adecuada
implementación. Se recomienda entonces tener
en cuenta varios principios que deben ser de total
conocimiento por parte de los funcionarios y áreas
participantes, entonces:
• Identificar quienes son los responsables de
los datos, quienes los usuarios y el tipo de uso que
debe darse.
• Implementar un lenguaje único sobre los
datos de modo que adopten nemotecnias y codi-
ficaciones estándares de fácil entendimiento de to-
dos en la organización.
• Promover el aseguramiento de los datos a
través de la declaración de normas relacionadas
con confidencialidad, disponibilidad e integridad.
• Tener solamente determinados los datos
como activos de información los cuales deben ser
compartidos con todas las dependencias que llega-
ron a necesitar.
• Adquirir o desarrollar herramientas que fa-
ciliten hacer seguimiento a los datos haciéndolo fá-
cilmente trazables.
• Crear una estrategia para la implementa-
ción de analítica de datos, de modo que sean ex-
plotables fácilmente a partir de las funciones del
negocio, haciendo uso de estructuras estándares y
simples.
23
 Beneficios para la entidad al es-
tructurar gobierno de datos

Actualmente las expresiones gobierno corporativo

y el gobierno TI son parte de la agenda directiva
de las organizaciones. El “gobierno de datos” debe
estar incluido y ocupar un sitio privilegiado en los
proyectos relacionados como parte de la transfor-
mación digital de las organizaciones. Gobierno de
datos significa usar datos efectivos para dar cumpli-
miento a los objetivos estratégicos, significa organi-
zación y dirección y al asumirse en el compromiso
institucional promueve los siguientes beneficios:

• Facilitar y fortalecer la toma de decisiones

corporativas.

• Facilitar la comunicación y entendimiento

entre los procesos internos que son proveedores y
clientes de datos.

• Privilegiar los requerimientos de datos que

demandan las áreas y sus funcionarios.

• Facilitar la construcción de procesos y pro-

cedimientos estándares.

• Reducir costos en la generación de informa-

ción.
• Promover la transparencia y la eficacia entre
los diferentes procesos que intercambian datos.

• Facilitar la interacción con otras entidades y

gremios afines en el uso de información específica
.

24
Transformación
digital en entornos
del Gobierno
 Es una realidad que los acontecimientos de impac-
to mundial acontecidos desde el año 2020 con la
pandemia removieron y revolucionaron las prácti-
cas laborales en todas las entidades independien-
temente de su misión institucional. Una de las con-
clusiones de este episodio, es la necesidad urgente
de las organizaciones para modernizar sus procesos
productivos y administrativos. La transformación
digital se hace entonces una necesidad reconocida
a todo nivel, razón por la cual debe ser entendida,
reconocida y puesta en marcha así sea en fases pre-
liminares.
La transformación digital es un proceso que afecta
a todos los entes institucionales desde los recursos
humanos, administración, producción, ventas, mar-
keting y la alta dirección. Implica una nueva forma
de estructurar los modelos de servicio, de modo
que se atiendan oportunamente y con calidad las
nuevas necesidades de los consumidores, del ciu-
dadano actual, el cual está caracterizado por el
consumo de servicios digitales caracterizados por
la rapidez, transparencia y facilidad para tomar de-
cisiones.
Este propósito no será propio de una entidad es-
pecífica, ni de ciertos sectores en especial, pues se
convive entre ecosistemas empresariales donde
la adopción de procesos digitales será un común
denominador. Por ello es recomendable tener en
cuenta los siguientes aspectos, cuando la empre-
sa declare iniciar procesos de cambio tecnológico
que involucren la instauración de la analítica en los
servicios ciudadanos y el uso de marketing digital,
para garantizar que la información de servicios y las
políticas públicas lleguen efectivamente a los des-
tinatarios. Algunos aspectos a tener en cuenta son:
• La transformación digital es un cambio de
cultura corporativa, no un cambio de piezas
de hardware y software.
26
• La nueva visión empresarial que potencia
el uso de tecnologías de información debe
considerar la analítica de datos como un
proyecto prioritario que conlleva a la imple-
mentación de ambientes de Big Data en la
información.
• La capacitación y venta efectiva de los pro-
yectos de implementación tecnológica para
todos los empleados y aliados estratégicos,
es un factor clave de éxito en el alcance de
estos propósitos.
• La seguridad de la información y en parti-
cular la ciberseguridad, son aspectos que
deben tener espacios de análisis y recursos
presupuestales acordes con los proyectos.
• La privacidad propia de los datos personales
deberá ser privilegiada en cualquier decisión
de uso de datos propios y de terceros.
• La interoperabilidad garantizará el compartir
recursos y servicios garantizando la partici-
pación de todos los usuarios de datos intere-
sados.
• La estandarización en los modelos de datos
debe ser una práctica que compartan todas
las entidades, para determinar las responsa-
bilidades en la creación, modificación, uso y
custodia sobre los datos.
• La promoción y fomento de las nuevas habi-
lidades digitales para todos los funcionarios
de las entidades, es una condición que pro-
mueve la inclusión y el uso democrático de
todos los recursos computacionales disponi-
bles.
Referencias

Barclays Investment Bank. (2020). The future of

Smart Cities. Recuperado de https://acortar.link/
HLoRjY

Hipervínculo:Capacitarte blog (s.f.). ¿Qué es y para

qué sirve Python? Recuperado de https://acortar.
link/rERhW0Hipervínculo:

Hipervínculo:Jones, E. (2021). AWS vs Azure en 2021

(Comparación de los gigantes de la computación
en la nube). Recuperado de Hipervínculo: https://
kinsta.com/es/blog/aws-vs-azure/

Kaspersky. (s.f.). Consejos para protegerse contra

el cibercrimen. Recuperado de Hipervínculo: ht-
tps://latam.kaspersky.com/resource-center/threats/
what-is-cybercrime

Ministerio de Tecnologías de la Información y las Co-

municaciones. (14 de junio de 2018) Manual de go-
bierno digital Implementación de la Política de Go-
bierno Digital. [Decreto 1008 de 2018]. D.O.: 50.624.
UNIR (2019). Lenguaje R, ¿qué es y por qué es tan
usado en Big Data? Recuperado de Hipervíncu-
lo: https://www.unir.net/ingenieria/revista/lengua-
je-r-big-data/
 Glosario
Algoritmo: en ciencias de la computación, un al-
goritmo es una secuencia lógica, finita y con ins-
trucciones que forman una fórmula matemática o
estadística para realizar el análisis de datos.
Análisis Predictivo (AP): el análisis predictivo per-
tenece al área de la analítica empresarial y trata de
utilizar los datos para determinar qué puede pasar
en el futuro. La AP permite determinar la probabili-
dad asociada a eventos futuros a partir del análisis
de la información disponible (presente y pasada).
También permite descubrir relaciones entre los da-
tos que normalmente no son detectadas con un
análisis menos sofisticado. Técnicas como la mine-
ría de datos (data mining) y los modelos predictivos
son utilizados.
Analytics: es la forma de capturar informaciones,
procesarlas y analizarlas para que se conviertan en
insights.
BI (Business intelligence): es el método que trans-
forma informaciones almacenadas y analizadas en
datos que son estratégicos para una empresa y que
se convierten en ganancia para el negocio.
Big Data: es la expresión utilizada para designar un
conjunto de datos tan grande que es difícil trabajar
con los medios habituales (bases de datos). Se suele
decir que el Big Data responde a las cinco V: volu-
men de datos importante, variedad de datos, velo-
cidad a la que llegan, valor de los datos y veracidad
de los datos.
Data science (ciencia de datos): la oportunidad
que los datos ofrecen para generar nuevo conoci-
miento requiere de técnicas sofisticadas de prepa-
ración de estos datos (estructuración) y análisis de
los mismos. Así en Internet, sistemas de recomen-
dación, traducción automática y otros sistemas de
inteligencia artificial se basan en técnicas de Data
science.
28
Data scientist: el data scientist es un experto en la
ciencia de datos (Data science). Su trabajo se cen-
tra en extraer conocimiento a partir de grandes vo-
lúmenes de datos (Big Data) extraídos de diversas
fuentes y múltiples formatos para dar respuesta a
las cuestiones que se planteen.
Deep learning: o aprendizaje profundo es una téc-
nica dentro del Machine learning basado en arqui-
tecturas neuronales. Un modelo basado en Deep
learning puede aprender a realizar tareas de clasi-
ficación directamente a partir de imágenes, texto o
sonido, etc. Sin necesidad de intervención humana
para la selección de características, esto se puede
considerar la principal característica y ventaja del
Deep learning, llamada “feature discovering”. Pue-
de poseer una precisión que supera al ser humano.
Deep web: Internet profunda, Internet invisible o
Internet oculta. Es el contenido de la Red que no
está indexado por los motores de búsqueda con-
vencionales y por ello es difícil rastrear a quienes las
usan.
Exabyte (EB): un exabyte es una unidad de medi-
da de almacenamiento de datos cuyo símbolo es el
EB. Equivale a 10¹⁸ bytes 8 bytes.
Gigabyte (GB): un gigabyte es una unidad de al-
macenamiento de información cuyo símbolo es el
GB, equivalente a 10⁹ de bytes.
Hadoop: framework de aplicaciones distribuidas
de Java de código abierto, destinado a procesar vo-
lúmenes de datos de varios petabytes y con miles
de nodos.
Insider: es una persona que labora dentro de una
compañía y que tiene acceso a información de esta
ya sea comercial, legal, financiera e institucional.
IaaS: infraestructura como servicio; son servicios
en línea ofrecidos desde la nube, que proporcionan
apoyo en la infraestructura, a saber: recursos de in-
 Unidad 2.
formática física, ubicación, particionamiento, es-
calamiento, seguridad, copias de seguridad etc.,
entre otras.
Inteligencia artificial: en computación se trata
de programas o bots diseñados para realizar de-
terminadas operaciones que se consideran pro-
pias de la inteligencia humana. Se trata de hacer
que estos sean tan inteligentes como un huma-
no. La idea es que perciban su entorno y actúen
en base a ello, centrado en el autoaprendizaje,
sean capaces de reaccionar ante nuevas situacio-
nes.
Internet of Things (IoT): concepto creado por
Kevin Ashton y hace referencia al ecosistema en
el que los objetos cotidianos están interconecta-
dos a través de Internet.
Lenguaje C: lenguaje de programación de pro-
pósito general orientado a la implementación de
sistemas operativos, en especial Unix.
Lenguaje C++: es un lenguaje de programación
orientado a objetos de gran poder que se usa
para realizar programación estructurada de alto
nivel y rendimiento, como sistemas operativos, vi-
deojuegos y aplicaciones en la nube.
Lenguaje Perl: su sigla significa Practical Ex-
traction and Report Languaje. Este lenguaje de
programación y de distribución gratuita está
pensado para tratar un gran volumen de datos.
Algunos de sus usos son el mercado de finanzas
y de la bioinformática.
Machine learning (aprendizaje automático):
este término hace referencia a la creación de sis-
temas a través de la inteligencia artificial, donde
Lenguajes de programación y usos de Big Data
lo que realmente aprende es un algoritmo, el cual
supervisa los datos con la intención de poder pre-
decir comportamientos futuros.
Open source: son programas informáticos que po-
nen a disposición de cualquier usuario el acceso a
su código de programación, para facilitar el trabajo
de otros programadores ajenos la modificación del
mismo.
PaaS, plataforma como servicio: es un servicio
en la nube que permite a los clientes aprovisionar,
crear instancias, ejecutar y administrar un paquete
modular que comprende una plataforma de com-
putación y una o más aplicaciones. Obvia al cliente
la complejidad de construir y mantener la infraes-
tructura típicamente asociada con el desarrollo y
lanzamiento de las aplicaciones.
Predictive analytics: el análisis predictivo es la uti-
lización de datos para predecir tendencias o even-
tos futuros.
RFID: identificación por radiofrecuencia (Radio Fre-
quency ID) es un sistema de almacenamiento y re-
cuperación de datos remotos que usa dispositivos
denominados etiquetas y tarjetas basadas en RFID.
SaaS, software como servicio: es un modelo de ser-
vicio de distribución de software donde el soporte
lógico y los datos que requiere una empresa, se alo-
jan en servidores de una compañía de tecnologías
de información y comunicación, a los que se acce-
de vía Internet desde un cliente.
Small Data: mucho más pequeño que el Big Data,
se refiere al análisis que se hace con pocas fuentes
de datos.
29