Traducido del inglés al español - www.onlinedoctranslator.
com
Conferencia internacional de 2018 sobre técnicas computacionales y de caracterización en ingeniería y ciencias (CCTES) Universidad
Integral, Lucknow, India, 14 y 15 de septiembre de 2018
Ciencia de datos: minería y modelado de conjuntos de información cósmica
y visualización
Sr. Subhashish Kumar Dr. Namrata Dhanda
Departamento de Ingeniería y Ciencias de la Computación Departamento de Ingeniería y Ciencias de la Computación
Universidad de la amistad, Universidad de la amistad
Uttar Pradesh, Lucknow, India Uttar Pradesh, Lucknow, India
funcionarioshubh@outlook.com ndhanda@lko.amity.edu
Abstracto—En este artículo, iluminamos la investigación en el campo de
experiencia en análisis estadístico, es decir, la ciencia de datos, todo un mundo
tecnológico en sí mismo que hoy en día se ha convertido en una palabra de moda
entre los geeks. Otorgamos la extracción de conjuntos de datos, el modelado y la
visualización del marcado de big data con la biblioteca de código abierto fácil de
usar del lenguaje Python experimentando la hoja de datos en tiempo real
enfocándonos en el trabajo de profecía y los tecnicismos que son necesariamente
necesarios para la organización. del mundo de hoypara el alimento de futuras
decisiones y estrategias comerciales. Elaborar las palabras clave proporcionadas,
desde su instalación en caso de ser necesario hasta su importación y su
aplicabilidad. Como la ciencia de datos es el quid de la metodología estadística y
de análisis de big data, tiene un papel importante en el campo de los datos,
donde la información de Internet ha tenido una inclinación repentina en los
últimos cuatro años hasta muestras de zettabytes y petabytes, donde se necesita
cada vez más investigación para hacer que el mundo se destaque paralelamente
en el campo de mucha información.
Palabras clave: ciencia de datos, Pandas, seaborn, Numpy, minería de
datos, visualización de datos, modelado de hojas de datos, educación.
yo yoNTRODUCCIÓN
La moda del término "Ciencia de datos" ha bombardeado el ámbito
técnico, académico y empresarial, como lo indica el aumento en las
vacantes. Sin embargo, muchos académicos y periodistas críticos no ven
distinciones entre la ciencia de datos y la implementación de estadísticas.
Manejando datos estructurados y no estructurados, la ciencia de datos es
un campo que abarca todo lo relacionado con la limpieza, preparación y
análisis de datos. Los datos están en todas partes y aumentan a un ritmo
infinito. De hecho, la cantidad de datos digitales que existen está
creciendo a un ritmo rápido; de hecho, existen más de 2,7 zettabytes de
datos enuniverso digital de hoy, y que se proyecta que florecer a 180
zettabytesen 2025. Por eso más organizaciones del nuevo mundo buscan
trabajadores profesionales quién puede dar sentido a todos los datos. es
el futuro de desarrollo y presente para el desarrollo sostenible. Para la
sostenibilidad y la opulencia del campo de la ciencia de datos, Donoho
proyecta un dominio cada vez mayor para la ciencia abierta donde los
conjuntos de información cósmica utilizados para publicaciones
académicas sean accesibles para todos los investigadores académicos e
industriales. El Instituto Nacional de Salud de EE.UU. ya ha publicado
planes para ampliar la reproducibilidad y la claridad de los datos de la
investigación. La ciencia de datos tiene una conformidad que incorpora
grados distintivos de información, método científico, estadística,
informática avanzada, visualización, mentalidad de hacker y experiencia
en el dominio. Una persona con experiencia profesional en el campo de la
ciencia de datos se llama científico de datos. Los científicos de datos
resuelven
978-1-5386-4254-2/18/$31.00 ©2018 IEEE 1
Sr. Ashutosh Pandey
Departamento de Ingeniería y Ciencias de la Computación
Universidad de la amistad
Uttar Pradesh, Lucknow, India
prncpnd94@gmail.com
El análisis de datos oscuros y tácticos es confuso. El título del trabajo
se ha vuelto muy conocido. En uno de los sitios de empleo más
utilizados, el número de ofertas de trabajo inclinadas a "científicos de
datos" fue de más del 100 por ciento entre enero de 2010 y julio de
2012. La existencia de científicos de datos ayuda a las empresas a
tomar decisiones comerciales más sólidas e inteligentes.
Los datos de Amazon Prime y Netflix extraen patrones de
interés de películas para analizar qué tarjetas de películas le
interesan a un usuario y luego utilizan toda la información para
predecir y generar las listas de películas.
Se dirige a las características, es decir, cuál es el rango
principal de clientes dentro de su base y los intereses de
compra únicos dentro del rango de ese grupo. Esto les
ayuda a guiar el mensaje a diferentes grupos de audiencias
del mercado.
Gamble and Proctor utiliza modelos de series de tiempo para obtener
estadísticas de necesidades futuras de manera más lúcida e
inteligible, lo que ayuda a planificar niveles de producción óptimos.
Amazon y Flipkart utilizan motores de recomendación para
detectar los productos, de modo que puedan poner el
producto permanezca en la visión del usuario, utilizando
algoritmos. Spotify utiliza algoritmos para recomendar
canciones al usuario.
El filtro de spam de Gmail funciona con el algoritmo para los
correos basura y coloca en consecuencia el spam, los correos
basura y los no basura en carpetas distintas.
Los vehículos autónomos utilizan visión por computadora, que también es
un producto de datos: el código de aprendizaje automático le permite aprender
y alertar según los peatones, los semáforos y los automóviles en la carretera,
etc., para evitar accidentes. Estos son los requisitos para los científicos de datos
industriales profesionales.
A. Experiencia matemática
Extraer datos y analizarlos estáticamente es el principal
desafío para los científicos de datos para ver los datos a través
de un óculo lógico y cuantitativo. Hay varios atributos de los
datos, como su delicadeza, dimensión y correlación, en los datos
que se pueden expresar gráficamente con algunas aplicaciones
matemáticas. Encontrar la panacea analizando los datos,
dándoles sentido y prediciendo la próxima audiencia objetivo y la
estrategia es una técnica desconcertante. La principal solución
para los problemas relacionados con el negocio involucra
técnicas basadas en matemáticas duras, donde poder ver y
entender inteligentemente es otro mecanismo de esos
métodos y esa es la clave del éxito en su construcción.
B. Fuerte astucia empresarial
Se espera que el científico de datos que desempeña un papel importante
sea un analizador de negocios astuto, táctico e incondicional. Al trabajar tan
agitadamente con los recursos de la empresa, los científicos de datos están
implicados aprender de los datos en diferentes procesos, lo que otros no
pueden hacer. Eso los hace perfectos para observar los datos y reflejarlos de
manera gráfica o matemática, y contribuir a la estrategia para resolver
problemas comerciales cruciales. Este establecimiento del proceso hace que
todos los puntos críticos sean inteligibles mediante la visualización de datos. No
vomitar datos; más bien, presentar una sombra muy clara de interpretación y
solución de datos, utilizando la visualización de datos como pilares de
patrocinio que conducen a la orientación.
C. Tecnología y piratería
Para empezar, debe quedar claro que estamosno hablando de
piratería informática se trata de hacer que la información sea clave al
ingresar a las computadoras. Nos referimos al significado de piratería de
la subcultura del codificador técnico, es decir, creatividad e inventiva en el
uso de habilidades técnicas para crear o generar cosas y encontrar
soluciones tácticas a problemas, como se expresa en la Figura 1.
Fig. 1. Significado del hacking en la subcultura del codificador técnico
II. PAGY COMO
Pandas es una biblioteca de código abierto con licencia BSD que
proporciona una estructura de datos, algoritmos y herramientas de
análisis de datos eficientes, eficaces y fáciles de manejar para el
lenguaje de programación Python. Pandas es un proyecto
patrocinado por NumFOCUS. El éxito del desarrollo de la biblioteca
pandas está garantizado por esta biblioteca como proyecto de código
abierto de clase mundial y hace posible ofrecerla de forma gratuita al
mundo. Menos para el análisis y modelado de datos, sino para la
manipulación y preparación de big data, Python ha sido excelente y
conocido durante mucho tiempo. La biblioteca Pandas proporciona la
implementación de funciones para llenar este vacío, lo que permite al
usuario continuar con la manipulación y visualización de datos sin
apuntar a otro dominio como el lenguaje de programación R.
Agregado y reunido junto con el hábil kit de herramientas de IPython
y los módulos, el dominio para trabajar en la implementación de datos en
Python es superior en cuanto a puesta en escena, productividad
estratégica y posibilidad de agregación. Pandas no proporciona modelado
de datos significativos ni operaciones en programas fuera de la regresión
lineal y de panel; para esto, mira las estadísticas
2
modelos y scikit-learn. Aún se necesita más trabajo para hacer de
Python un entorno de modelado estadístico de clase
extraordinariamente brillante, pero en la actualidad está en camino
hacia la meta.
A. Instalación
La solución óptima para instalar pandas en el sistema es el
comando:
conda instalar pandas
También se puede instalar desde el PyPI donde se
cargó usando el comando:
pip instalar pandas
B. Especificaciones y aspectos destacados de la biblioteca
Las herramientas para escribir y leer información entre
diferentes formatos como Microsoft Excel, CSV y archivos de texto,
bases de datos SQL y el rápido formato HDF5 son Alineación de datos
inteligente y manejo integrado de datos faltantes: obtenga una alta
alineación automatizada basada en etiquetas en tecnologías
computacionales y fácilmente influir en los datos desordenados de
una manera ordenada y estructurada, división firme basada en
etiquetas, indexación elegante y subconfiguración de conjuntos de
datos cósmicos, colaboración de rendimiento clásica y adjuntar
conjuntos de información. Python con pandas se utiliza en una
amplia y distinta variedad de dominios académicos y comerciales,
incluidos finanzas, publicidad, análisis web, economía, neurociencia,
estadística y muchos más.
III. NACIDO EN EL MAR
Seaborn es una biblioteca de visualización interactiva de Python
basada en matplotlib. Proporciona una interfaz de alto nivel para dibujar
gráficos estadísticos interactivos atractivos y fáciles de usar. Muchas
estructuras integradas para diseñar matplotlib del móduloLos gráficos
son aplicables. Existen herramientas para elegir paletas de colores para
crear diferentes gráficos de visualización que revelen patrones en la
información proporcionada. Existen abstracciones de alto nivel para
manipular patrones y cuadrículas de gráficos que le permiten crear
fácilmente modelados y visualizaciones complejos. Seaborn actúa para
apuntar a que la visualización de la producción sea una parte central de la
exploración y comprensión de los datos. Seaborn hace que la trama sea
interactiva para el usuario, productiva e inteligible con menos texto y
paletas de colores más distintas para una mejor comprensión. Matplotlib
hace que las cosas fáciles sean fáciles y las difíciles sean posibles de
interpretar, pero seaborn también hace que un conjunto bien
estructurado de cosas difíciles sea fácil. Seaborn nos proporciona
formatos gráficos personalizables de los que carece matplotlib. Al utilizar
la biblioteca seaborn de código abierto, ya que está disponible a través del
espacio de nombres pyplot, es probable que a menudo importe funciones
matplotlib para generar gráficos de funciones más fáciles y con menos
frecuencia. Para una fácil instalación de la última versión de seaborn,
escriba en el símbolo del sistema:
pip instalar seaborn / conda instalar seaborn
IV.NÚMERO
La extensión NumPy o Numerical Python es el paquete
fundamental para la informática científica con Python. Se usa para un
tipo similar de matriz multidimensional, también se usa para hacer
cosas relacionadas con matemáticas o cantidades cósmicas, es decir,
big data. Está escrito en C que'spor qué funciona de forma rápida y
ágil. Generalmente opera en una matriz nD, es decir, una matriz n
dimensional. Realiza funciones como la creación de un objeto de
matriz N-dimensional, álgebra lineal útil, transformada de Fourier y
capacidades de números aleatorios, herramientas para integrar Hoja_de_datos.Nacionalidad.valor_cuentas()
código C/C++ y FORTRAN. NumPy también se puede utilizar como un
> > a = Top10país.cabeza(10)
contenedor multidimensional eficaz y eficiente de datos genéricos. Se
pueden definir tipos de datos arbitrarios. Esto permite que NumPy se > > a.plot(tipo = 'pastel', leyenda = Verdadero, tamaño de figura =
integre rápida y fácilmente con una amplia variedad de bases de (7,7), sombra = Verdadero, explotar = [0,0.7,0,0,0.3,0,0,0,0,0 ])
datos.
> > matplotlib.pyplot.show() Y la
NumPy tiene la licencia BSD, lo que permite la reutilización con
pocas restricciones. Numpy proporciona funciones beneficiosas para
salida se muestra en la Fig. 2.
los juegos numéricos de alteración y visualización de la información
del conjunto de datos.

La instalación de Numpy continúa ejecutando el código en el símbolo

del sistema:instalación de pip numpy.

Las características de funcionamiento básicas de NumPy es su "nd array",

para una estructura de datos de matriz n-dimensional. Estas matrices nd son
vistas de procesos importantes en la memoria. A diferencia de la estructura de
datos de lista incorporada de Python (que, a pesar del nombre, es una matriz
dinámica), estas matrices están codificadas de manera homogénea: todos los
elementos de una única matriz deben ser del mismo tipo.

VDMODELADO DE HOJAS ATA Y VISUALIZACIÓN DE

INFORMACIÓN Y ESTADÍSTICAS

Para una mejor explicación del modelado y la visualización

estática, hemos tomado la hoja de datos completa original del
campeonato de la FIFA que incluye los datos anteriores, las
columnas y filas se pueden analizar ejecutando el código:

> > Hoja_de_datos = pandas.read_csv( 'ubicación://

FIFAdataSheet.csv', low_memory = False)

> > Hoja_de_datos.info ()

Pero antes de comenzar, tenemos que importar las bibliotecas necesarias
aquí para que se pueda invocar en el momento de la operación. El código es
el siguiente-
> > importar pandas
> > importar nacido del mar
> > importar matplotlib.pyplot
> > importar números
Por lo tanto, le proporcionará información sobre toda la hoja
de datos con 17981 x 75 filas y columnas respectivamente. Para
simplificar, haríamos una hoja de datos de muestra de campos
particulares que son necesarios para nuestro análisis y
estadísticas ejecutando el comando:
> > pre_columns = ['Nombre', 'Edad', 'Foto', 'Nacionalidad',
'General', 'Potencial', 'Club', 'Valor', 'Wagmi',………….,
'Posiciones preferidas']
> > Hoja_de_datos = pandas.DataFrame(datos = fl, columnas =
pre_columnas)
Fig. 2. Los diez países potencialmente más fuertes en la FIFA
Con esto el resultado se parece a la Figura 2 rRepresentar al
equipo de 'Inglaterra' como el país con mayor potencial y al
equipo de 'Países Bajos' como el décimo en el potencial.
jerarquía. Estas son las únicas técnicas utilizadas en los partidos
deportivos de clase mundial y también predicen los datos. Otra
investigación realizada por la empresa estadounidense Amazon,
que con estas estadísticas y visualización, profetiza el orden de
los elementos de la persona y muestra ese elemento en su
cuenta de manera aleatoria, y también está trabajando en la
predicción de datos, es decir, la profecía. de los pedidos y la
entrega antes de que los usuarios los soliciten. Estas
investigaciones están llevando al mundo a otro nivel de
tecnicismos y precisión, sin ninguna susceptibilidad, para una
planificación del desarrollo saludable y sostenible.
B. Representación gráfica de la proporcionalidad de la 'Edad'
del Jugador y el 'Potencial General'
Código para la visualización de la proporcionalidad de la edad del
jugador y su potencial general,la consulta es –

Tomando la función de ayuda de matplotlib.pyplot y la biblioteca > > rbao=Data_sheet.groupby('Edad')['General'].media().

seaborn, que ayuda a proporcionar servicios fáciles de usar. restablecer_índice()
Tomando los datos útiles y visualizándolos gráficamente las > > rbao.sort_values('Edad')
siguientes consultas: > > matplotlib.pyplot.plot(rbao['Edad'], rbao['General'])
> > matplotlib.pyplot.show()
A. Los diez países potencialmente más fuertes en el
campeonato de la FIFA ejecutando el código: Representará el grupo de edad que tiene su potencial de
crecimiento y declive. De la hoja de datos encontramos el gráfico
> > 10 países principales =
expresado en la Fig. 3.

3

Fig. 3. Representación gráfica de la proporcionalidad de la 'Edad' y el 'Potencial
general' del jugador
C. Total de partidos de FIFA jugados por un país desde que se utilizó el
gráfico de conteo de Seaborn.
A partir del año de ignición, el número total de coincidencias se
traza con la ayuda de la biblioteca Python Seaborn titulada,
'Nacionalidad' como etiqueta X- y 'contar' como Y-La etiqueta se
puede visualizar mediante el código.
> > matplotlib.pyplot.figure(tamaño de figura = (40, 30))
> > seaborn.countplot(x = 'Nacionalidad', datos =
Hoja_de_datos)
> > matplotlib.pyplot.show()
La salida generada se expresa en la Fig. 4.
Fig. 4. Partidos de FIFA jugados por un país desde que se utilizó el diagrama de conteo de
Seaborn
Este gráfico proporciona los datos en serie comenzando desde la parte
superior, es decir, la primera fila, y avanzando hacia la parte inferior. El número
de partidos jugados varía porque no están estructurados de forma ordenada.
Por lo tanto, obtenemos un gráfico estructurado y fácil de usar bien
representado utilizando la paleta I de la biblioteca seaborn de código abierto.
Una representación gráfica más de los partidos disputados por los
equipos yd 'ganar por carreras' y el total de partidos puede ser
representado de la siguiente manera en la Fig. 5 -
Figura 5. GRAMOrepresentación gráfica de los partidos jugados por los equipos y 'ganancias
por carreras' y partidos totales
VI. CONCLUSIÓN
Estos son solo una muestra de lo que puede hacer un campo de la
ciencia de datos, está más allá de nuestra imaginación, en el que los
científicos y expertos en datos están trabajando y se están llevando a cabo
más investigaciones que definitivamente ayudarán mucho al mundo en
celeridad. Todos los datos cósmicos almacenados se pueden utilizar para
el estudio general y para planificar el desarrollo y las estrategias para
fines futuros. Este mundo lleno de datos es realmente enorme, el Lo que
importa es cómo lo abordamos y diseñamos estrategias, eso es Por qué la
demanda de manejadores de datos o científicos aumenta día a día en las
empresas para que la información tenga sentido.
REFERENCIAS
[1] Marcha, Salvatore T. y Gerald F. Smith. "Diseño e investigación en ciencias
naturales sobre tecnologías de la información". Sistemas de apoyo a la
decisión 15.4 (1995).
[2] Peffers, Ken, et al. "Una metodología de investigación en ciencias del diseño para la
investigación de sistemas de información". Revista de sistemas de información de
gestión 24.3 (2007)
[3] https://www.simplilearn.com/data-science-vs-big-data-vs-
dataanalytics-article.
[4] Baker, Ryan SJD y Kalina Yacef. "El estado de la minería de datos educativos
en 2009: una revisión y visiones de futuro". JEDM| Revista de minería de
datos educativos 1.1 (2009).
[5] https://en.wikipedia.org/wiki/Data_scienceI.S. Jacobs y CP Bean, “Partículas
finas, películas delgadas y anisotropía de intercambio”, en Magnetismo,
vol. III, GT Rado y H. Suhl, Eds. Nueva York: Academic, 1963, págs.
271-350.
[6] https://datajobs.com/what-is-data-science
[7] https://pandas.pydata.org/
[8] http://www.numpy.org/
[9] https://seaborn.pydata.org/
[10] https://en.wikipedia.org/wiki/Data_science
[11] https://docs.python.org/3/tutorial/