Big Data

Big data significa que estamos trabajando con grandes cantidades de datos. Y eso es
especialmente cierto en gran parte debido a la revolución de Internet. Desde mediados y
finales de la década de 1990, de repente, el uso de Internet ha crecido exponencialmente.
Hasta el punto en que solía ser algo que podíamos usar para buscar información en la
web o tal vez para enviar algún correo electrónico ocasional. Pero hoy en día se usa para
servicios de transmisión. Y las empresas realmente no pueden hacer negocios sin
conectividad a Internet en todos sus dispositivos informáticos. Los expertos estiman que
aproximadamente el 90% de los datos actuales tienen solo dos años.
Eso realmente pone las cosas en perspectiva, para mostrar que el volumen de datos
sigue creciendo. Y así, de alguna forma, necesitamos una forma de capturar, recopilar,
almacenar y procesar estos datos para que tengan sentido. Y eso es parte de lo que se
tratan con Big data. Cuando tenemos datos que se organizan y obtenemos conocimientos
de ellos, realmente estamos hablando de información. Así que todos hemos escuchado el
antiguo término, la información es poder. Y eso es tan cierto ahora como siempre. Con Big
data, estamos hablando de utilizar soluciones informáticas modernas que son realmente
necesarias para procesar y organizar datos en información a esta escala.
Los sistemas tradicionales de administración de bases de datos simplemente podrían no
ser capaces de manejar este volumen de datos. Las bases de datos tradicionales pueden
manejar millones de filas o registros, y podemos ejecutar consultas en ellas y devuelven
resultados con bastante rapidez. Pero, ¿qué pasa cuando se trata de miles de millones o
billones de artículos almacenados? Bueno, los sistemas tradicionales simplemente no
están diseñados para eso, y ahí es donde realmente entra el Big data. Con el Big data,
también tenemos que considerar de dónde provienen los datos.
Estos datos pueden provenir de cámaras de vigilancia de seguridad, de dispositivos de
IoT, o del uso de aplicaciones de teléfonos inteligentes, o de datos financieros, estamos
hablando de los datos recopilados a lo largo del tiempo. Y sabemos que eso sigue
creciendo exponencialmente. Los datos realmente pueden venir de cualquier lugar.
Podrían ser feeds de redes sociales, registros militares, registros de llamadas telefónicas.
Realmente, podrían provenir de cualquier parte. Y esa es una de las razones por las que
estamos hablando de Big data. Porque hay mucho y muchas fuentes.
Big data tiene una serie de características, una de las cuales es la cantidad de datos con
los que estamos trabajando. Tenemos que considerar no solo el espacio de
almacenamiento, que podría estar en terabytes para grandes conjuntos de datos. Pero
también cuántos datos se pueden procesar a la vez. Y eso puede ser especialmente
importante si estamos utilizando una solución de almacenamiento en caché en memoria
de base de datos como Redis. Solo podemos almacenar una cantidad determinada de
datos en caché a la vez para acelerar las operaciones. La siguiente característica que
tenemos que considerar es el ritmo al que se producen los datos. Eso va a variar de una
organización a otra. Donde realmente depende de qué tipo de datos se consideran
valiosos en una organización profesional, una agencia gubernamental o incluso una base
de datos individual. Así que tenemos que pensar en cuántos datos se producen y de
dónde proceden.
Existe una amplia variedad de tipos de datos. También tenemos que pensar en esto. Ya
se trate de feeds de redes sociales o registros de llamadas telefónicas, medios de audio y
video. Tenemos que considerar qué es lo que queremos recopilar, almacenar y procesar.
La siguiente característica de Big data es, ¿cómo de precisos son los datos? ¿Se puede
confiar en ellos? ¿De dónde provienen los datos? ¿Fue de un registro interno u otra base
de datos, o se proporcionó externamente? ¿Se proporcionó de forma automatizada o lo
proporcionaron los usuarios, lo que significa que podría estar sujeto a errores? O
podríamos querer ejecutar algún tipo de reglas de transformación. Para asegurarnos de
que cuando las personas ingresen, por ejemplo, diferentes variaciones de Estados Unidos
,E.E.U.U o EE.UU., Lo transformemos para que sea algo consistente para facilitar la
búsqueda y obtener información significativa.

La precisión de los datos también es importante cuando se trata de transmitir datos a

través de la red y almacenarlos. En otras palabras, protegerlo de manipulaciones, ya sea
mediante cifrado y / o firmas digitales. Idealmente, deberían usarse ambos. La
característica más importante de los datos es ¿cómo obtenemos valor de esos datos?
Porque entonces se convierte en información. Así que tenemos que pensar, por ejemplo,
en millones de transacciones de clientes minoristas por hora. Está bien, si estamos
capturando esa información. Pero si no hacemos nada con ella, ¿cuál es el valor?, el valor
vendría al mirarlo y determinar si hay alguna tendencia a lo largo del tiempo. O patrones
para comprar, en diferentes lugares, diferentes momentos del día, diferentes tipos de
productos. Además, mirar información, como de dónde son las personas. Y si existe algún
tipo de correlación con nuestros hábitos de compra que sean similares para las personas
de la misma zona. Ahí es donde el procesamiento de
Big data y la obtención de valor de esos datos se vuelve muy frecuente.