Machine Translated by Google

SECCIÓN ESPECIAL TECNOLOGÍA Y APLICACIONES DE BIG DATA

EN TRANSPORTE INTELIGENTE

Recibido el 9 de enero de 2020, aceptado el 18 de enero de 2020, fecha de publicación 23 de enero de 2020, fecha de la versión actual 2 de marzo de 2020.

Identificador de objeto digital 10.1109/ ACCESS.2020.2969039

Análisis de Big Data Financiero y Early

Plataforma de alerta: un estudio de caso
3
, FANG WANG 2,4, XIAOJUN JIA 1,5
YI LIANG 1,2, DAIYONG QUAN ,
MENGGANG LI 1,4,5 Y TING LI 2
1Academia Nacional de Seguridad Económica, Universidad Jiaotong de Beijing, Beijing 100044, China
2Escuela de Economía y Administración, Universidad Jiaotong de Beijing, Beijing 100044, China
3Programa Postdoctoral del Centro de Investigación de Seguridad Industrial de China, Universidad Jiaotong de Beijing, Beijing 100044, China
4Laboratorio de Beijing de ingeniería de alerta temprana de seguridad económica nacional, Universidad Jiaotong de Beijing, Beijing 100044, China
5Centro de Beijing para la Investigación sobre Seguridad Industrial y Desarrollo, Universidad Jiaotong de Beijing, Beijing 100044, China

Autores para correspondencia: Xiaojun Jia (xjjia@bjtu.edu.cn) y Menggang Li (mgli1@bjtu.edu.cn)

Este trabajo fue apoyado en parte por el Programa de Co-Construcción con la Comisión Municipal de Educación de Beijing de China bajo la Subvención
B18H100040 y la Subvención B19H100010, y en parte por el Proyecto Clave de la Base de Investigación de la Fundación de Ciencias Sociales de Beijing bajo
la Subvención 19JDYJA001.

RESUMEN Con el fin de mantener el resultado final de los riesgos financieros sistémicos y evitar la mitigación de los principales riesgos,
este trabajo se centra en la investigación de algoritmos de fusión de datos heterogéneos de múltiples fuentes y tecnologías de limpieza
para establecer un estilo adecuado para el análisis de datos y el marco de cálculo de big data. .
En este documento, de acuerdo con el método anterior, proporcionamos la base para un análisis temprano de la seguridad económica.
Utilizando el análisis de big data, un método de tecnología de la información emergente, podemos explorar nuevos métodos de alerta
temprana de riesgos, construir una plataforma de alerta temprana y monitoreo de riesgos y lograr una toma de decisiones económicas
científicas, de modo que las fuentes de riesgo económico en la seguridad económica nacional se puede rastrear.

TÉRMINOS DEL ÍNDICE Big data, preaviso, seguridad económica, métodos de alerta temprana.

I. INTRODUCCIÓN cuestión de la alerta temprana. Nos enfocamos en los algoritmos de fusión y

El surgimiento de tecnologías avanzadas de procesamiento, almacenamiento
y computación de datos, como big data, computación en la nube e inteligencia
artificial (aprendizaje profundo, atlas de conocimiento) ha proporcionado una
forma de alerta temprana de riesgos para la seguridad económica nacional.
Por lo tanto, llevamos a cabo la investigación de predicción y alerta temprana
de riesgos de seguridad económica [1]–[3]. Además, evaluamos de manera
sistemática, completa y objetiva el nivel de riesgo general de la economía
nacional. Esto proporciona una alerta temprana y predictiva para la toma de
decisiones científicas, lo que no solo ayuda a prevenir riesgos sistémicos,
sino que también es un requisito inherente para que China mantenga la
solidez de su sistema económico, mantenga la estabilidad económica y social
y promueva la seguridad nacional.
las técnicas de limpieza de datos heterogéneos de múltiples fuentes para
formar un estilo adecuado para el análisis de datos. Además, estudiamos
cómo construir un marco de computación de big data para proporcionar una
base para el análisis temprano de la seguridad económica.
Sobre la base del análisis y el resumen de las deficiencias existentes,
construimos una gran plataforma de procesamiento de datos e investigamos
cómo recopilar el procesamiento en tiempo real y de alta velocidad de datos
económicos de dimensión completa para realizar la alerta temprana de los
riesgos de seguridad económica nacional. El resultado específico de nuestra
investigación es la construcción creativa de una gran plataforma de
procesamiento de datos.

II. ANTECEDENTES DE LA
Las finanzas de Internet+ han traído un crecimiento explosivo en los
datos económicos. Las estadísticas matemáticas tradicionales y los métodos INVESTIGACIÓN Hay muchos trabajos de literatura sobre la seguridad

de ajuste son difíciles de cumplir con la minería profunda de datos masivos. económica nacional [4]–[7], pero el trabajo de alerta temprana y simulación

Los métodos de big data y aprendizaje automático se están volviendo de riesgos económicos basados en big data acaba de comenzar. La mayor

estándar en muchas plataformas económicas de Internet. Por lo tanto, cómo parte de las investigaciones existentes es el análisis de riesgo cualitativo, y la

cuantificar los riesgos económicos con la ayuda de los métodos emergentes investigación de medición de riesgo cuantitativo es extremadamente escasa.

de tecnología de la información se ha convertido en el principal La orientación laboral específica para la seguridad económica nacional
requiere de un conjunto de sistemas que puedan ser visualizados, evaluados
El editor asociado que coordina la revisión de este manuscrito y y ajustados como apoyo al trabajo. De lo contrario, la búsqueda ciega de la
quien lo aprobó para su publicación fue Sabah Mohammed . seguridad a menudo se solidificará o se volverá rígida.

Este trabajo tiene una licencia Creative Commons Attribution 4.0 License. Para obtener más información, consulte http://creativecommons.org/licenses/by/4.0/
VOLUMEN 8, 2020 36515
Machine Translated by Google
Y. Liang et al.: Plataforma de alerta temprana y análisis de macrodatos financieros: estudio de caso

El establecimiento de un sistema completo de evaluación y alerta temprana puede

guiar y ayudar de manera efectiva al trabajo específico de construcción de la seguridad
económica nacional de China.
Utilizamos métodos emergentes de tecnología de la información, como el análisis de
big data y la inteligencia artificial, para proporcionar un historial cuantitativo y visual, el
status quo y el análisis predictivo para varios campos de seguridad no tradicionales.
Además, el sistema puede proporcionar servicios de apoyo para la toma de decisiones
científicas a los responsables de la toma de decisiones en todos los niveles.

tercero MÉTODO

PRINCIPAL Esta sección presenta la arquitectura general del sistema, la ruta técnica,
el marco de procesamiento de flujo y otros aspectos, así como los principios de alerta
temprana de seguridad.

A. DISEÑO DE LA ARQUITECTURA GENERAL

El advenimiento de la era de los grandes datos ha hecho que los datos masivos se
basen más en la evidencia para el análisis macroeconómico. El procesamiento en
tiempo real de macrodatos económicos y la inteligencia de los métodos de análisis de
datos aportan muchas ventajas a la previsión macroeconómica y la alerta temprana.
Puede superar las deficiencias de los métodos tradicionales y mejorar la precisión y
oportunidad del análisis económico.

El procesamiento económico de big data involucra disciplinas cruzadas como la

computación en la nube, la inteligencia artificial y el aprendizaje automático, la previsión FIGURA 1. Diagrama de arquitectura general.

macroeconómica y el análisis microeconómico. Para lograr el objetivo de recopilación

y análisis de big data económico y de seguridad, por un lado, investigaremos sobre la
recopilación de big data económico y de seguridad, y nos centraremos en la
investigación de algoritmos de fusión de datos heterogéneos de múltiples fuentes y
técnicas de limpieza para formar un estilo adecuado para el análisis de datos. Esto
proporciona la base para un análisis temprano de la seguridad económica. Por otro
lado, estudiaremos la construcción de diferentes marcos informáticos de big data,
algoritmos de análisis de alerta temprana de riesgos en tiempo real para las necesidades
en tiempo real y de retraso del análisis de alerta temprana de big data de la seguridad
económica, y exploraremos profundamente la relación entre las diferentes industrias y
economías regionales. Además, el sistema puede revelar los riesgos involucrados.
La fuente de datos en la Figura 1 incluye la recopilación de datos, que principalmente
recopila datos a un nivel profundo y realiza la convergencia de diferentes protocolos y
datos a nivel de base.
Se basa principalmente en dos aspectos de las capacidades, uno es confiar en
sensores, sistemas de supervisión financiera, gestión económica orientada al entorno,
sistemas de confianza y otros elementos de datos para la recopilación en tiempo real.
Esto permite que la plataforma integre directamente los datos subyacentes con la
ayuda de plataformas de big data, grandes centros de almacenamiento de datos,
software integrado y otras infraestructuras y tecnologías de conexión. El segundo es el
uso de nuevos dispositivos informáticos de borde representados por puertas de enlace
inteligentes para lograr la agregación de sensores inteligentes y datos del sistema y la
integración indirecta de los resultados del análisis de borde en plataformas en la nube.
Varios tipos de métodos de conexión de borde proporcionan una ayuda poderosa para
la conexión ubicua de la plataforma de alerta temprana de riesgos de seguridad
económica.
Ampliar las fuentes de datos que la plataforma económica de big data puede recopilar
y analizar.
La capa de la plataforma de servicios de administración es el núcleo. Se basa en
la arquitectura PaaS e integra microservicios financieros, servicios de big data y
desarrollo de aplicaciones. Es comparable a un sistema operativo de Internet móvil.
En primer lugar, la plataforma combina computación en la nube, tecnología de
macrodatos y experiencia y conocimientos de gestión económica para formar una
capacidad básica de análisis de datos económicos.
La plataforma solidifica la tecnología, el conocimiento, la experiencia y otros recursos,
y solidifica estos recursos en bibliotecas de software profesional, bibliotecas de modelos
de aplicaciones, bases de conocimientos expertos y otras herramientas de desarrollo
y microservicios portátiles y reutilizables. En segundo lugar, la plataforma proporciona
una cadena completa de servicios de datos económicos que consta de almacenamiento
de datos, intercambio de datos, análisis de datos y modelos de supervisión.
La plataforma reúne varios métodos de procesamiento profesional tradicionales y
herramientas de análisis inteligente de vanguardia. Ayuda a los usuarios a realizar
rápida y fácilmente la gestión integrada y la extracción de valor de los datos económicos.
En tercer lugar, crea un entorno de desarrollo de aplicaciones basado en servicios de
datos económicos. La plataforma proporciona varios microservicios de gestión que
contienen conocimientos financieros y experiencia en supervisión de la industria,
herramientas de desarrollo de aplicaciones financieras [8] y métodos de gestión
integrales para operaciones de desarrollo y mantenimiento de aplicaciones.
Esto ayuda a los usuarios a crear rápidamente aplicaciones de aplicaciones inteligentes
personalizadas y generar valor comercial.

36516 VOLUMEN 8, 2020

Machine Translated by Google
Y. Liang et al.: Plataforma de alerta temprana y análisis de macrodatos financieros: estudio de caso
La capa de servicio de la aplicación es clave. Implementación de aplicaciones
basadas en el entorno regulatorio de la industria mixta
y frente a los diversos escenarios de regulación, este es el
resultado final de los servicios económicos de la plataforma de big data.
Estos escenarios de aplicación típicos, como la supervisión inteligente, la
colaboración en red, la personalización personalizada,
y la extensión del servicio, proporciona a los usuarios varios inteligentes
soluciones de servicio personalizadas y desarrolladas en la plataforma.
B. RUTA TÉCNICA DETALLADA
La aplicación de la tecnología de big data en las finanzas ha
promovió la innovación del modelo de servicios financieros, el desarrollo
transformación de modelos, innovación de gestión y producto
innovación. La aplicación de la tecnología de macrodatos ha proporcionado un
apoyo eficaz a la innovación financiera. Al mismo
tiempo, también proporciona información precisa y conocimiento
de servicios financieros y ofrece servicios personalizados para
consumidores
En comparación con otras industrias, el big data tiene más valor potencial para
la industria financiera. La investigación de McKinsey muestra
que la industria financiera ocupa el primer lugar en el Big Data Value
Índice de potencial.
El ''big data'' sin duda tiene una amplia gama de aplicaciones
en el campo financiero. Boston Consulting encontró 64 potenciales
aplicaciones en siete áreas principales de la banca. Estas aplicaciones se
encuentran en negocios minoristas, corporativos y de mercados de capital.
Además, incluyen transacciones bancarias, activos
administración, gestión de patrimonio y gestión de riesgos.
De la situación general de la aplicación del ''big data''
por instituciones financieras extranjeras, la mitad de los
Las aplicaciones financieras se encuentran en la etapa de popularización y
comprensión del concepto de big data, un tercio de las aplicaciones financieras se
nivel, etiquetas electrónicas y enrutadores para recopilar y agregar datos de estado
encuentran en la fase piloto y aproximadamente la mitad de cada cinco aplicaciones financieras.
instituciones ya está familiarizada con la aplicación de ''grandes
datos''. Está aumentando sus capacidades paso a paso e integrando los
mecanismos de trabajo requeridos por "Big Data" en
modelos de negocio y modelos operativos. Estas aplicaciones
han entrado en la etapa de transformación incrustada.
La aplicación de la tecnología de big data puede captar la información efectiva
de los clientes y las empresas en muchos aspectos.
Pueden analizar exhaustivamente los activos y pasivos de los clientes, la liquidez
y el comportamiento de los clientes. Esto ayuda financieramente
instituciones para llevar a cabo la innovación de productos, marketing preciso y
gestión de riesgos, y para transformar los activos de datos en
activos estratégicos y competitividad en el mercado. Esto puede habilitar
tecnología de big data para desempeñar un papel en valores y futuros,
banca, seguros y finanzas emergentes de Internet. Estas
Los esquemas de construcción del proyecto se dividen en cuatro áreas:
dominio de equipo, dominio de plataforma, dominio de aplicación,
y dominio de seguridad.
1) ÁREA DE DISPOSITIVOS
(1) El dominio del dispositivo implementa acceso remoto y administración de
conexiones, monitoreo de conexiones y actualizaciones de configuración para
terminales IoT. Además, también tiene
actualizaciones de software y sistemas, solución de problemas y ciclo de vida
VOLUMEN 8, 2020
funciones administrativas. El dominio del dispositivo proporciona
monitoreo del estado del dispositivo en tiempo real y estado de la aplicación
alarmas y abre interfaces de llamadas API. Permite a los usuarios
realizar fácilmente la integración del sistema y la función de valor agregado
desarrollo. Los datos del dispositivo para el dominio del dispositivo se almacenan
directamente en la nube.
(2) tecnología de gestión de conexión para física masiva
Dispositivos electrónicos en el Internet de las Cosas
Los dominios de dispositivos permiten que dispositivos físicos masivos y
heterogéneos accedan de manera ordenada y sin inconvenientes a la Internet de
las cosas. Esto logra una interconexión de área amplia y
Gestión inteligente de equipos físicos. El dispositivo
El dominio establece el equilibrio de carga basado en global. es compatible
el acceso cercano del equipo y puede cumplir con la horizontal
ampliación de la plataforma. Para el clúster de acceso ubicuo,
según el tipo de protocolo, la carga del servidor del dispositivo
El dominio se puede programar en tiempo real para lograr el acceso de
dispositivos con diferentes protocolos y diferentes cargas.
(3) Monitoreo de detección inteligente de equipos e interconexión de equipos
En base a la codificación OID (Object Identifier) se implementa la interconexión
de diferentes equipos y personal
para lograr la interconexión e interconexión de IoT
terminales. Estudiamos los problemas de interconexión y
recopilación de datos de big data y heterogénea de múltiples fuentes
dispositivos. Estudiamos las características técnicas de diferentes
Tipos de interfaces y protocolos. Finalmente, se desarrollaron un modelo unificado
de adquisición de datos y un estándar de transmisión de datos.
implementar un método capaz de acceder a múltiples señales
Fuentes de diferentes protocolos estándar.
(4) Recopilación y procesamiento de información del equipo
a) El dominio del dispositivo utiliza dispositivos físicos como sensores de bajo
de los objetos de destino en tiempo real. procesa
los datos recopilados de series temporales de alta dimensión. El sistema
analiza y extrae la representación estandarizada y los datos de secuencia de la
organización para lograr el propósito de extraer la
patrones de comportamiento ocultos de series de tiempo. Al mismo tiempo,
el sistema también proporciona a los usuarios una consulta de datos visual y
interfaz para compartir
b) Recogida de datos heterogéneos
La falta de un estándar unificado para el formato de datos ha
trajo severos desafíos al almacenamiento posterior de la base de datos,
así como limpieza de datos e integración y análisis de datos.
Este sistema se basa en última instancia en una recopilación de datos unificada
modelo y necesita recopilar diferentes tipos de datos de equipos,
datos de bases de datos y datos de archivos. El dominio del dispositivo proporciona una
interfaz abierta para todo tipo de estructura y no estructurada
datos a través de un estándar de transmisión de datos unificado, y finalmente
logra una recopilación de datos heterogénea unificada y escalable.
c) Limpieza de datos
Una característica importante de los grandes datos es la baja densidad de valor.
La calidad de sus datos también es diferente de la calidad de los tradicionales
datos. Puede haber muchos datos erróneos, así como erróneos.
datos y datos faltantes, pero la calidad de los datos tiene un enorme
impacto en la eficacia de la toma de decisiones basada en grandes
36517
Machine Translated by Google
Y. Liang et al.: Plataforma de alerta temprana y análisis de macrodatos financieros: estudio de caso
procesamiento de datos. Por lo tanto, la limpieza de datos y la identificación
de datos no válidos y erróneos se han convertido en requisitos previos clave
que afectan la efectividad de la minería de big data.
Este sistema necesita desarrollar modelos y algoritmos específicos de limpieza
y filtrado de datos basados en las características de los datos en diferentes
industrias.
2) ÁREA DE PLATAFORMA
(1) Tecnología de equilibrio de carga y sistema de procesamiento de flujo
para procesamiento en la nube en tiempo real Para los cálculos de flujo en
tiempo real para grandes flujos, el equilibrio de carga para servicios de
flujo de datos es una parte importante de la investigación de este sistema. En
el entorno informático de transmisión en tiempo real, los datos no solo
aumentan de tamaño, sino que también la diversidad empresarial se vuelve
cada vez más complicada. La tecnología de equilibrio de carga existente
enfrenta el desafío de los cuellos de botella de escalabilidad y no puede
cumplir con los requisitos de confiabilidad en tiempo real del procesamiento
de flujo de red de alta velocidad.
Este proyecto estudia la arquitectura y los algoritmos de equilibrio de carga
para plataformas de computación en la nube en tiempo real y propone un
sistema de computación en la nube en tiempo real de alta disponibilidad
basado en esto. El sistema tiene mecanismos integrados de balanceo de
carga a nivel de tarea y nivel de tráfico. Como se muestra en la Figura 2, para
el equilibrio de carga a nivel de tareas, el sistema utiliza un modelo de
programación de tareas en tiempo real con baja complejidad. Basado en este
modelo, el sistema proporciona algoritmos de asignación de recursos y
programación de tareas que cumplen con los escenarios dinámicos de un
entorno informático de transmisión. Reduce el tráfico de datos entre nodos
mientras las tareas se equilibran dinámicamente. Para el equilibrio de carga
a nivel de tráfico, el sistema utiliza un algoritmo de equilibrio de carga que
mantiene la coherencia de la sesión sin una tabla de sesión global. El sistema
logra el equilibrio entre el flujo de datos de las tareas en la nube y mejora la
disponibilidad y el equilibrio del sistema en el entorno de flujos de datos
conectados masivamente. Esto permite que el sistema analice datos
comerciales complejos.
(2) Almacenamiento y consulta de datos en
tiempo real El almacenamiento y consulta de datos en tiempo real utilizan
una arquitectura compartida. Esta arquitectura admite un motor de consulta y
almacenamiento de datos en tiempo real que busca en miles de millones de
filas en segundos al admitir una estructura de índice avanzada, y el motor
admite la escala horizontal. Un clúster consta de diferentes tipos de nodos y
cada nodo realiza una función específica.
La composición del clúster se muestra en la Figura 3. Los nodos en
tiempo real son responsables de la inyección de datos, el almacenamiento y
la respuesta a consultas de eventos recientes. De manera similar, el nodo de
cómputo histórico es responsable de cargar y responder consultas de eventos
históricos. Los datos se almacenan en un nodo de almacenamiento. El nodo
de almacenamiento puede ser un nodo de cómputo histórico o un nodo en
tiempo real. Una consulta primero visita el nodo intermediario, que es
responsable de descubrir y enrutar la consulta a varios nodos de
almacenamiento que contienen datos relevantes, y luego los nodos de
almacenamiento ejecutan las partes de su consulta en paralelo y devuelven
los resultados al nodo intermediario. El nodo intermediario recibe estos
resultados y los fusiona. Finalmente, el resultado final combinado se devuelve
al solicitante de la consulta. los corredores
36518
El nodo, el nodo de cálculo y el nodo en tiempo real se consideran nodos
consultables. Hay un conjunto de nodos de coordinación para administrar la
distribución y la replicación de la carga. El nodo de coordinación es un nodo
no consultable. Se utiliza principalmente para mantener la estabilidad del
clúster. El nodo de coordinación debe depender de una base de datos MySQL
externa. Requiere Apache Zookeeper para realizar la colaboración de clúster.
Aunque las consultas se reenvían a través de Hadoop, la comunicación dentro
del clúster se realiza a través de Zookeeper.
3) DOMINIO DE LA APLICACIÓN
a: FUNCIÓN DE LA APLICACIÓN
AEP (Plataforma habilitada para aplicaciones) proporciona dos funciones
principales: desarrollo de aplicaciones y almacenamiento de datos unificado.
Proporciona herramientas de desarrollo de aplicaciones, middleware,
funciones de almacenamiento de datos y motores de lógica empresarial. AEP
puede conectarse a API de sistemas de terceros. Las empresas y los usuarios
individuales pueden desarrollar, implementar y administrar rápidamente
aplicaciones en AEP. AEP no necesita considerar problemas como una menor
expansión de la infraestructura, administración y agregación de datos,
protocolos de comunicación y seguridad de la comunicación, lo que reduce
los costos y el tiempo de desarrollo.
La plataforma proporciona servicios SaaS para la industria. Este servicio
proporciona funciones de servicio profesionales, ricas y completas para
diferentes usuarios en industrias verticales. Los usuarios usan terminales
inteligentes para personalizar los servicios requeridos en la capa de aplicación
y realizar la verificación de tecnología clave requerida por la empresa.
b: APERTURA DE DATOS Y TOMA DE DECISIONES INTELIGENTES
El subsistema de análisis de negocios proporciona servicios de análisis de
big data técnicos seguros, estables, en tiempo real y prácticos. No solo puede
realizar el procesamiento de clasificación sobre la base de varios datos
relacionados, sino también analizar y proporcionar resultados de análisis de
datos visuales. El subsistema de análisis empresarial utiliza un análisis
dinámico en tiempo real para controlar la situación de las existencias y
proporcionar una alerta temprana. Ayuda a los usuarios a realizar servicios y
monitoreo de datos multidimensionales en áreas tales como operaciones.
La toma de decisiones inteligente se refiere al proceso de utilizar las
intenciones del usuario expresadas de manera uniforme para hacer coincidir
la agregación de conocimientos para resolver problemas y brindar un conjunto
ordenado de soluciones recomendadas.
El subsistema de análisis empresarial utiliza un método de coincidencia
basado en el marco de problemas de búsqueda y define algunos tipos de
problemas de búsqueda comunes. Esto se llama el marco del problema de
búsqueda. El subsistema crea una base de conocimiento de regla de fusión
de posición de descomposición de intención de búsqueda basada en el marco
del problema. Introduce reglas de descomposición en la posición de
descomposición de la intención de búsqueda. El subsistema estructuró la
intención de búsqueda compleja en una combinación lógica de problemas de
búsqueda atómica que interactúan y que pueden coincidir con el marco del
problema de búsqueda para resolver la tarea de búsqueda atómica y fusionar
inversamente los resultados de búsqueda de acuerdo con la relación de
descomposición.
La granularidad de la tarea de búsqueda atómica se abstrae, cosifica y
reestructura de manera adaptativa según
VOLUMEN 8, 2020
Machine Translated by Google
Y. Liang et al.: Plataforma de alerta temprana y análisis de macrodatos financieros: estudio de caso
FIGURA 2. Diagrama esquemático del sistema de balanceo de carga y procesamiento de flujo.
FIGURA 3. Diagrama de organización del clúster.
a las propias necesidades del usuario y las condiciones de la red para
mejorar la eficacia de la búsqueda y reducir los gastos generales de
búsqueda. Primero configure un grupo de búfer para la tarea de
búsqueda. Anote la fuente de información para cada tarea de búsqueda
atómica. El subsistema fusiona tareas de búsqueda atómica homogéneas
basadas en la relación entre la fuente de información y las tareas de búsqueda atómica.
También formula una estrategia de programación concurrente para
tareas de búsqueda atómica. Finalmente, el subsistema utiliza un
algoritmo de fusión de datos para procesar los resultados de la búsqueda.
Este método puede reducir la ambigüedad y la incertidumbre, y analizar
y razonar la solución óptima.
4) DOMINIO DE SEGURIDAD
Las funciones de gestión de seguridad de plataforma abierta incluyen
control de acceso, autenticación y autenticación, transmisión
VOLUMEN 8, 2020
encriptación, detección de vulnerabilidades, monitoreo de ataques y
administración de operación y mantenimiento de seguridad.
a: PLATAFORMA DE AUTENTICACIÓN DE IDENTIDAD DE CONFIANZA
El análisis de big data probablemente realizará la autenticación y
autorización de la identidad del usuario en los campos de seguridad de
la información, incluido SIEM (Gestión de eventos de seguridad de la
información), monitoreo de redes y otros campos. Además, el campo de
la seguridad de la información también incluye la gestión de identidades,
la detección de fraudes y la mayoría de los productos, que son suficientes
para traer cambios al mercado.
De hecho, los cambios provocados por el big data ya han comenzado.
Desde 2014, las principales agencias de seguridad han comenzado a
implementar soluciones de macrodatos para respaldar sus operaciones
de seguridad. Las herramientas de análisis de datos desplegadas en el
soc (centro de operación y mantenimiento de seguridad) fueron todas
personalizadas, pero 2014 marcó el inicio de la comercialización real de
la tecnología big data en el campo de la seguridad.
En términos de supervisión de la red, el departamento gubernamental
competente debe realizar la función de supervisión con el apoyo de
leyes, reglamentos, sistemas, estándares, normas, procesos, control de
riesgos y mecanismos de trazabilidad pertinentes. Los objetos de
supervisión de red incluyen usuarios de red, agencias emisoras de
certificados de identidad y agencias de servicios de autenticación de
identidad. Además, los objetos de supervisión de red también incluyen
sistemas comerciales de red y varios tipos de datos generados durante
las actividades de la red.
Para cumplir con los requisitos de gestión unificada de la plataforma
de autenticación de identidad en la recopilación, el procesamiento y el
intercambio de copias de identificación, la construcción del sistema de
autenticación de identidad se referirá al software
36519
Machine Translated by Google
Y. Liang et al.: Plataforma de alerta temprana y análisis de macrodatos financieros: estudio de caso
FIGURA 4. Marco general de la plataforma de autenticación de identidad confiable.
y arquitectura hardware del sistema de gestión empresarial de seguridad pública.
Este sistema se desarrolla en base a la población de seguridad pública y los
recursos de la base de datos de certificados.
Como se muestra en la Figura 4, la plataforma realiza una gestión eficaz y una
aplicación integral de autenticación de identidad y recopilación de copias. Este
sistema también realiza el intercambio en tiempo real de datos de información
de autenticación nacional de la plataforma de primer nivel y la plataforma de
segundo nivel.
FIGURA 5. Diagrama de estructura de la plataforma de autenticación de identidad confiable.
Como se muestra en la Figura 5, la plataforma está dividida en dos capas.
El Ministerio de Seguridad Pública ha establecido una copia del documento
nacional de identidad para recopilar la plataforma de información de autenticación,
que es el nodo de autenticación de la copia del documento nacional de identidad.
Además, el Ministerio de Seguridad Pública también llevó a cabo la construcción
de una plataforma de autenticación de tarjetas de identificación confiable de
Internet industrial y emprendió tareas como la recopilación de información y la
autenticación de identidad en la industria de Internet industrial.
b: SEGURIDAD EN LA NUBE Y CREDIBILIDAD DE UN CONFIABLE
PLATAFORMA DE GRANDES DATOS ECONÓMICOS
Con el fin de implementar la tecnología de protección de seguridad de la
plataforma para garantizar que los usuarios no se vean perjudicados por ataques en la almacenamiento de datos permiten que Trusted Industrial Internet
36520
plataforma, la plataforma enfrenta una gran cantidad de actos maliciosos, como
el acceso no autorizado y el robo de datos desde fuera de la plataforma y otros
usuarios. Estas acciones traen riesgos de seguridad a la industrialización y
comercialización de la plataforma.
Este sistema estudiará la realización de tecnología eficiente de detección de
comportamiento malicioso de máquinas virtuales a partir de los siguientes dos
aspectos. a) Plataforma dinámica, multidimensional y de grano fino
tecnología de autenticación de identidad y control de acceso
La plataforma se enfrenta a amenazas de seguridad como el robo de
identidad o la suplantación de identidad del usuario y el acceso no autorizado,
además de amenazas internas maliciosas.
Desde la perspectiva de la consulta de datos, por un lado, es necesario evitar
que la plataforma de servicios de terceros extraiga los patrones de acceso de
los usuarios, es decir, ofuscar la relación de mapeo entre los usuarios autorizados
y sus datos accesibles desde la perspectiva del tercero. -plataforma de servicio
de fiestas.
Por otro lado, las plataformas de servicios de terceros deben implementar un
control de acceso detallado a los datos a los que pueden acceder los usuarios
autorizados en la estructura binaria tradicional.
Para resolver los problemas anteriores, necesitamos estudiar mecanismos
de control de acceso y autenticación de identidad de plataforma que cumplan
con los requisitos de un control de acceso eficiente, dinámico y detallado. A
través de la investigación anterior, se pueden garantizar las necesidades de
confianza de la plataforma para satisfacer a los usuarios y la seguridad de la
plataforma. b) Gestión y control de la seguridad en la nube basados en tecnología
de introspección de máquinas virtuales La tecnología de introspección de
máquinas virtuales (VMI) puede respaldar el monitoreo del estado operativo
dentro de la máquina virtual fuera de la máquina virtual para que el
comportamiento del usuario pueda detectarse fácilmente. Sin embargo, la
implementación de VMI determina los siguientes aspectos. El primero es el
grado de acoplamiento y versatilidad del sistema. El segundo es la dificultad de
obtener información semántica. El tercero es la autoseguridad y el ocultamiento.
El cuarto es la pérdida de rendimiento de la plataforma.
Aunque el método VMI altamente acoplado puede proporcionar información
semántica precisa, también provoca una pérdida considerable en el rendimiento
de la plataforma. Por lo tanto, la tecnología VMI de alta intensidad para todo
clima construida en máquinas virtuales y administradores de máquinas virtuales
va en contra de la filosofía de diseño de "eficiencia primero" de la plataforma y
no es muy útil en la práctica. Y la tecnología de análisis de comportamiento
construida en el nivel de la red independientemente del host puede proporcionar
una vista del comportamiento de la red que se ejecuta dentro de la máquina
virtual sin afectar el rendimiento del host del usuario. En particular, tiene un
mejor efecto de detección de ataques de red maliciosos, lo que es un poderoso
complemento para el uso de la tecnología VMI.
c: MECANISMO DE RESPALDO
La plataforma abierta se basa en almacenamiento de clúster NoSQL distribuido
e implementa un mecanismo de copia de seguridad principal 2 para
almacenamiento separado.
Como se muestra en la Figura 6, hay tres modos de almacenamiento de
datos: maestro->esclavo, esclavo <->esclavo y cíclico. Estos tres métodos de
VOLUMEN 8, 2020
Machine Translated by Google
Y. Liang et al.: Plataforma de alerta temprana y análisis de macrodatos financieros: estudio de caso
FIGURA 6. Esquema de respaldo plano.
Plataforma Abierta para obtener datos de cualquier servidor y asegurarse
de que puede obtener todas las copias en otros servidores. En el caso de
una falla catastrófica en un centro de datos, las aplicaciones cliente pueden
usar herramientas de DNS para redirigir a otra ubicación alternativa. El
sistema proporciona "coherencia eventual", lo que significa que en cualquier
momento, finalmente se garantiza que los datos sean consistentes.
C. MARCO DE TRANSMISIÓN
Este sistema se basa en los requisitos en tiempo real del negocio. Hay
Storm que admite el procesamiento en línea y Cloudar Impala. Además, hay
Spark y el marco de procesamiento de flujo S4 que admite el cálculo iterativo.
La tormenta es un sistema de cómputo en tiempo real distribuido,
tolerante a fallas, desarrollado por BackType y luego capturado por Twitter.
La tormenta es una plataforma de procesamiento de flujo, que se utiliza
principalmente para calcular y actualizar la base de datos en tiempo real.
La tormenta también se puede utilizar para ''Cálculo continuo''.
Storm realiza consultas continuas sobre el flujo de datos y envía los
resultados al usuario en forma de flujo durante el cálculo. También se puede
utilizar en ''RPC distribuido'' para realizar operaciones en paralelo.
Cloudera Impala es un motor de consultas de procesamiento paralelo
masivo (CMPP) de código abierto desarrollado por Cloudera. Tiene los
mismos metadatos, sintaxis SQL, controlador ODBC e interfaz de usuario
(HueBeeswax) que Hive. Puede proporcionar consultas SQL rápidas e
interactivas directamente en HDFS o HBase.
Impala es un motor de consultas desarrollado bajo la inspiración de
Dremel. Ya no utiliza el procesamiento por lotes lento de Hive + MapReduce,
sino que utiliza un motor de consultas distribuidas (compuesto por 3 partes:
Query Planner, Query Coordinator y QueryExec Engine) similar a las bases
de datos relacionales paralelas comerciales.
Impala puede consultar datos directamente desde HDFS o HBase usando
SELECT, JOIN y funciones estadísticas, lo que reduce considerablemente
la latencia.
La Figura 7 es una arquitectura centrada en la secuencia construida
sobre Apache Kafka.
En la Figura 7, Kafka solo se usa como una canalización de datos de
propósito general. Cada sistema puede alimentar datos a kafka y también
puede alimentar datos de él. Las aplicaciones o los procesadores de flujo pueden Estas extensiones que implican el pensamiento, la influencia y la
VOLUMEN 8, 2020
FIGURA 7. Marco de transmisión.
acceder a él y generar nuevos flujos derivados. Estos flujos, a su vez, se
pueden proporcionar a estos sistemas. Los modelos de procesamiento de
datos son más diversos y Hadoop ya no es una opción inevitable para
construir plataformas de big data.
En el modo de aplicación, el modo de procesamiento de big data
continúa enriqueciéndose. El procesamiento por lotes, la computación de
transmisión, la computación interactiva y otras tecnologías están orientadas
a diferentes escenarios de demanda y continuarán enriqueciéndose y
desarrollándose.
En términos de tecnología de implementación, la computación en
memoria seguirá siendo el principal medio para mejorar el rendimiento del
procesamiento de big data. En comparación con los métodos de
procesamiento de disco duro tradicionales, la computación de memoria ha
mejorado significativamente en rendimiento.
El proyecto de código abierto Spark se ha utilizado ampliamente en
entornos comerciales prácticos y se ha convertido en la comunidad de
código abierto más grande en el campo de los grandes datos. Spark tiene
una variedad de marcos de computación, como computación de flujo,
consultas interactivas, aprendizaje automático y computación gráfica. Spark
es compatible con Java, Scala, Python, R y otras interfaces de lenguaje, lo
que mejora enormemente la eficiencia del uso de datos. Estas ventajas de
Spark han llamado la atención de muchos desarrolladores y desarrolladores
de aplicaciones. Vale la pena señalar que el sistema Spark se puede
construir en base a la plataforma Hadoop o ejecutarse de forma independiente
sin depender de la plataforma Hadoop.
Muchos puntos críticos de nuevas tecnologías se integran continuamente
en el modelo diversificado de big data, formando un camino de desarrollo
más diverso y equilibrado, y también satisfaciendo las diversas necesidades
de big data. El autor propone vincular e integrar conscientemente la
investigación y el desarrollo de big data en la ecología de la tecnología de
big data, o utilizar los resultados de la ecología de la tecnología, o retribuir
a la ecología de la tecnología.
En términos de tecnología de aprendizaje, el análisis profundo seguirá
siendo un representante, impulsando la aplicación de inteligencia de big
data en todo momento. La inteligencia mencionada aquí enfatiza
especialmente la extensión de las capacidades relacionadas, como la
predicción de decisiones y la recomendación precisa.
36521
Machine Translated by Google
Y. Liang et al.: Plataforma de alerta temprana y análisis de macrodatos financieros: estudio de caso

la comprensión se convertirá en las direcciones de aplicación clave para el El principio básico del método de evolución diferencial es seleccionar
análisis profundo de datos. aleatoriamente 3 individuos diferentes, realizar un procesamiento de escala
En comparación con los algoritmos tradicionales de aprendizaje automático, diferencial en 2 de ellos y fusionar el resultado procesado con el 1 individuo
el aprendizaje profundo propone un método para que una computadora genere restante para finalmente realizar la recombinación y mutación de los individuos
funciones automáticamente e integre el aprendizaje de funciones en el proceso de la población.
de creación de modelos, lo que reduce la incompletitud causada por las y obtener,
funciones de diseño artificial. Con la ayuda de modelos de redes neuronales
Vi(g + 1) = Xr1(g) + F × (Xr2 (g) ÿ Xr3 (g)) (2)
profundas, el aprendizaje profundo puede extraer características de manera
más inteligente en diferentes niveles de los datos. Este método permite una
En la Ecuación (2), Vi (g) representa el i-ésimo individuo de datos en la g-
representación más precisa y eficaz de los datos.
ésima población. Para tres individuos Xr1(g), Xr2(g) y Xr3(g) seleccionados al
Y cuanto mayor sea la cantidad de muestras de capacitación, más ventajoso
azar, F es el factor de escala. En el método estándar de evolución diferencial, F
será el algoritmo de aprendizaje profundo sobre los algoritmos tradicionales de
es un valor fijo.
aprendizaje automático.
Si el valor de F no es razonable, se presentará el problema de madurez
En la actualidad, el aprendizaje profundo ha logrado grandes avances en
prematura de la población, lo que afectará seriamente la velocidad de
áreas donde los datos de muestra de entrenamiento son fáciles de acumular,
convergencia del algoritmo. Para acelerar la velocidad de convergencia y
como la clasificación de imágenes, el reconocimiento de voz, los sistemas de
obtener la solución óptima global, se propone una estrategia de ajuste dinámico
respuesta a preguntas y otras aplicaciones, y ha logrado aplicaciones
de F en función del grado de diferencia poblacional.
comerciales exitosas.
Se predice que a medida que más y más industrias y campos mejoren
La connotación de diferencia de población es que en un espacio de
gradualmente la recopilación y el almacenamiento de datos, la aplicación del
población, todos los individuos en el espacio se agrupan para obtener el número
aprendizaje profundo se generalizará. Debido a la complejidad de las
de grupos de población. Los individuos en este espacio tienen ciertas diferencias.
aplicaciones de big data, la fusión de múltiples métodos será una norma
Si la diferencia es mayor, significa que cuanto más uniforme sea la distribución
constante.
individual en el espacio, más probable es que se obtenga una solución
globalmente óptima.
D. PRINCIPIOS DE SEGURIDAD ALERTA TEMPRANA
En la etapa inicial de evolución diferencial, para diversificar la población
El método de evolución [9], como método de búsqueda que utiliza la diferencia
individual, F se ajusta dinámicamente por la Ecuación (3).
de datos económicos, este sistema utiliza este método para realizar alertas
tempranas de seguridad de datos financieros bajo análisis de big data.
Los parámetros del método de evolución diferencial incluyen principalmente
(3)
el tamaño de la población, el factor de escala y la probabilidad cruzada. de lo contrario
F ÿ(g(Fmáx
F (g) = ( Fmáx - 1) ÿ Fmín) Xi (g) > ÿ1
En el método de evolución diferencial estándar, el factor de escala y la
probabilidad de cruce son fijos. Si es demasiado grande o demasiado pequeño, En la Ecuación (3), Fmax y Fmin Los valores máximo y mínimo del factor
afectará la capacidad de búsqueda del método, lo que dará como resultado una de escala. Representan el umbral de iteración establecido. La operación cruzada
alerta temprana de seguridad de datos económicos de baja calidad bajo el se realiza en el individuo de datos objetivo Xi y el individuo mutante Vi en la
análisis de big data. Necesitamos optimizar el método de evolución diferencial población de datos para producir un nuevo individuo Ui , luego:
para que el factor de escala y la probabilidad de cruce puedan ajustarse en
cualquier momento de acuerdo con la convergencia actual de los datos
económicos, a fin de mejorar el rendimiento de convergencia del método y
(4)
garantizar la eficacia de la alerta temprana de los datos económicos. datos bajo de lo contrario
Uij (g + 1) = ( vij (g + xij (g + 1)
1)rand < CR, j = jrand
análisis de big data.
En la Ecuación (4), rand es un número aleatorio de distribuciones aleatorias

Para optimizar la función base de la red ÿi y el peso de la conexión wji de la entre (0,1). jrand es una distribución entera aleatoria entre [1, N]. CR representa
probabilidad cruzada. Después,
evolución diferencial, usamos el método de codificación de números reales y lo
configuramos de la siguiente manera. ÿ gramo

CRmín, < ÿ2
S = {X1, X2, . . . , Xn} representa la población inicial de los datos, CR = gmin (5)
ÿ
donde N es el número de poblaciones de los datos, Xi es cualquier individuo en de lo contrario
ÿ CRmáx ,
la población de datos y los datos se inicializan. Después,
En la Ecuación (5), CRmin y CRmax representan los valores máximo y
mínimo de la probabilidad cruzada. ÿ2 representa el cruce original sobre la

(1) probabilidad del ajuste.

wji= =ÿmin
( ÿi rand+(0, 1) (0, 1) × (ÿmax ÿ ÿmin)
rand El método de evolución diferencial utiliza principalmente una estrategia de
competencia uno a uno para seleccionar el conjunto de datos económicos óptimo.
En la Ecuación (1), rand (0,1) representa un número aleatorio uniformemente
En función de la aptitud, se eliminan el candidato competitivo Ui (g+1) y el
distribuido entre (0,1), ÿmax = argmax i6=i,i=1,2...h centro de un nodo de
correspondiente individuo coincidente Xi (g).
datos. El número de nodos decidatos
(abs ÿ cj ),esci h.
y cj representa el
El individuo ganador será seleccionado para la siguiente población. Este
proceso se repite hasta que la solución óptima global

36522 VOLUMEN 8, 2020

Machine Translated by Google
Y. Liang et al.: Plataforma de alerta temprana y análisis de macrodatos financieros: estudio de caso
del método se obtiene. Esto puede realizar alertas tempranas de seguridad
avanzada de datos económicos bajo análisis de big data. Después,
f (Ui (g + 1)) < f (Xi (g))
(6)
Xi (g1) = ( Xi (g)Ui (g + 1) de lo contrario
En la Ecuación (6), f (·) una función que representa la aptitud de un
individuo.
De acuerdo con la discusión anterior, al ajustar el factor de escala y la
probabilidad de cruce del método de evolución diferencial, se mejora el
rendimiento de convergencia del método y se realiza una alerta temprana de
seguridad de datos económicos bajo análisis de big data.
IV. ANÁLISIS DE CASO DE RIESGO DE CRÉDITO BANCARIO
El rápido desarrollo de Internet y sus aplicaciones ha producido una variedad
de datos masivos estructurados y no estructurados. Su almacenamiento y
procesamiento han enfrentado desafíos sin precedentes, y muchas tecnologías
relacionadas nunca se han estudiado.
Con el desarrollo explosivo de la sociedad y la producción, han surgido
nuevos tipos de ciudades inteligentes y comunidades inteligentes. Además, la
informatización en el transporte, las comunicaciones, la energía y otras
industrias también ha producido una gran cantidad de datos.
Entre las grandes cantidades de datos generados por diversas industrias,
el tamaño y la solidez de los datos en el sector financiero ocupan el primer
lugar en la industria. Por lo tanto, la aplicación de la tecnología de big data en
la industria financiera es muy necesaria y tiene un gran potencial.
En la actualidad, las fuentes de big data que se pueden utilizar para el
análisis del riesgo crediticio se dividen principalmente en tres categorías [10],
que son información relacionada con el cliente dentro del banco, información
de la industria y la cadena de suministro, y datos externos.
Los datos de información internos y relacionados con el cliente del banco
incluyen información básica del cliente, datos de transacciones, datos
financieros, etc. La información de la industria y la cadena de suministro
incluye las perspectivas y el estado de la industria, las relaciones públicas
sociales y el funcionamiento de las empresas de la cadena de suministro. Los
datos externos incluyen información sobre redes sociales, mercados de
capitales, motores de búsqueda y sitios web relacionados.
A. ANTECEDENTES DE LA APLICACIÓN DEL ANÁLISIS DE RIESGO DE
CRÉDITO EN LA INDUSTRIA FINANCIERA
El análisis de riesgo crediticio basado en big data puede integrar la mayor
cantidad de información posible. El análisis comprensivo del objeto de análisis
tiene las características de masa, forma cambiante, fragmentación, etc. [11].
Las aplicaciones en el sector financiero permiten un análisis completo de
las personas. Estas aplicaciones implementan análisis de crédito, análisis de
riesgo de crédito y alerta temprana de riesgo interno basada en big data.
Además, hay análisis de riesgo de la industria y la extracción de valor del
cliente.
Como se muestra en la Figura 8, el análisis crediticio puede llevar a cabo
un análisis integral y sistemático del carácter moral, la capacidad de pago, la
solidez del capital, la garantía y la calidad del deudor.
VOLUMEN 8, 2020
FIGURA 8. Aplicación de big data en la industria financiera.
condiciones ambientales. Conveniente para que los bancos evalúen y analicen
a los prestamistas antes de prestar.
El análisis de riesgo crediticio basado en macrodatos se refiere a la
capacidad de los bancos para analizar su capacidad de realizar pagos a
tiempo y predecir la probabilidad de préstamos incobrables en función de la
información completa de los clientes en tiempo real después del préstamo, a
fin de esperar la entrega oportuna. detección de préstamos incobrables y
alerta temprana.
El análisis de riesgo de crédito existente se centra en la gestión del crédito.
Este tipo de análisis de riesgo carece de análisis dinámico y alerta oportuna.
Los métodos principales son el método del sistema experto, el método de
análisis de características y el método de calificación crediticia. El método del
sistema experto tiene fuertes factores subjetivos, pero el nivel desigual de
expertos conduce a un descubrimiento y una gestión del riesgo crediticio
inestables e inexactos. El método de análisis de características se basa en un
análisis unilateral de información básica del cliente, información financiera y
datos bancarios internos. Por lo tanto, es necesario mejorar la precisión de
este método. El método de calificación crediticia se basa en los diferentes
indicadores crediticios del prestatario, ponderados de manera diferente y
calculados utilizando un modelo estadístico matemático simple. El método de
calificación crediticia tiene un único método de análisis y solo es adecuado
para el análisis estático. No puede hacer frente a situaciones repentinas o
potencialmente complicadas.
La advertencia de riesgo interno basada en big data se refiere al análisis
de comportamientos anormales de los expertos financieros en función de la
información personal de los empleados, información sobre herramientas de
comunicación interna, información enviada por correo electrónico, acceso a
redes externas y tráfico de red. Esta alerta temprana de riesgos internos
puede prevenir riesgos dentro de las empresas financieras y garantizar el
funcionamiento estable de los mercados financieros [12].
El método principal para prevenir amenazas internas en el sistema
financiero es construir un modelo de auditoría que pueda actualizarse
iterativamente y tenga una función de aprendizaje basada en big data.
Este modelo analiza exhaustivamente el comportamiento sospechoso de los
usuarios y realiza la detección de riesgos internos. Este método parte
específicamente de dos aspectos de horizontal y vertical.
Entre ellos, el análisis horizontal se refiere a los métodos de aprendizaje
automático basados en big data para calcular valores atípicos de personas
con comportamiento anormal desde las perspectivas general y local.
El análisis vertical se basa en el comportamiento histórico de los empleados
internos, estadísticas de patrones de comportamiento y luego se encuentra
36523
Machine Translated by Google
Y. Liang et al.: Plataforma de alerta temprana y análisis de macrodatos financieros: estudio de caso
si hay actividad anormal. El modelo utiliza un análisis de riesgo interno basado
en big data para formular los procedimientos y medidas de control
correspondientes para el personal clave en posiciones sensibles en la industria
financiera para reducir las amenazas y ahorrar costos.
El descubrimiento de clientes basado en el valor basado en big data
consiste en descubrir clientes potenciales a través de la información de
transacciones del cliente y las ubicaciones de transacciones seleccionadas,
así como otra información externa. También realiza recomendaciones y
marketing de productos financieros en función de las características de
comportamiento del cliente [13]. Por ejemplo, de acuerdo con el nivel de
educación del cliente, la industria de trabajo, la posición, la edad, el género, el
historial de transacciones pasadas y otras características, analice las
preferencias del cliente y realice las recomendaciones de productos financieros
correspondientes. Este método puede determinar si el cliente tiene el potencial
de convertirse en un cliente clave en el futuro. Sobre esta base, se formulan
diferentes estrategias de servicio para diferentes tipos de clientes. Este método
puede retener a los clientes existentes y desarrollar clientes potenciales.
Además, este método también puede lograr una gestión refinada, mejorar la
asignación de recursos de la industria financiera y hacer contribuciones
detalladas al desarrollo estable y sólido del mercado financiero.
El análisis de riesgos de la industria basado en big data significa que los
bancos comprenden los riesgos de varias industrias al comprender el estado
actual y las perspectivas de varias industrias y combinar información del
gobierno, el mercado, la empresa y la red. Este método formula diferentes
ventas, recomendaciones y estrategias de stop-loss basadas en las diferencias
entre industrias mientras maximiza las ganancias y evita posibles riesgos. Los
bancos pueden cambiar la estrategia crediticia y el índice de distribución de
fondos en varias industrias en tiempo real en función de los resultados del
análisis de la industria. Esta es una medida efectiva para que los bancos
reduzcan efectivamente el riesgo crediticio, lo que puede aumentar
efectivamente la entrada de fondos.
B. ANÁLISIS DEL RIESGO DE CRÉDITO Y
MÉTODOS DE ADVERTENCIA
En la actualidad, los bancos avanzados internacionalmente han integrado de
manera integral la información del cliente para una evaluación integral basada
en el análisis de big data, y calculan dinámicamente y en tiempo real la
probabilidad de préstamos incobrables. Esto reduce en gran medida la
confiabilidad del cobro de créditos bancarios y la implementación de la
estrategia [14]. La principal estrategia de implementación es que el banco
analice los datos relevantes de las empresas crediticias existentes antes del
préstamo, evalúe el riesgo crediticio de la empresa y realice la inspección a
través del análisis integrado de big data en la etapa posterior.
Big data es muy diferente de los métodos tradicionales de análisis de
riesgos. Estas diferencias incluyen la fuente, las dimensiones, la forma y el
método de análisis de los datos.
Desde la fuente de datos y el análisis dimensional, el análisis de riesgo de
crédito basado en big data introduce datos de terceros además de los datos
existentes en el banco. Por ejemplo, información de plataformas de
transacciones de terceros, información de pagos de terceros, información de
logística y compras en línea,
36524
información de evaluación de productos y datos de redes sociales. Esta
información puede mejorar la falta de información interna del banco, mejorar la
precisión y efectividad oportuna del análisis de riesgo de crédito.
Analizando desde la forma de datos, big data tiene datos en múltiples
formatos. Incluye datos estructurados e incluye datos no estructurados. Esto
plantea desafíos tanto para el almacenamiento como para el análisis de datos.
Desde la perspectiva de los métodos de análisis, debido a que los datos
son particularmente grandes, los datos provienen de múltiples fuentes y las
formas son diversas y fragmentadas, en términos de extracción de
características de datos, es necesario excluir los datos relacionados con la
extracción de datos de interferencia. Estas características hacen que el método
de extracción de características sea especialmente importante. Además,
también es necesario analizar los datos relevantes extraídos utilizando métodos
apropiados de aprendizaje automático, para descubrir las conexiones entre los
datos masivos y el significado subyacente.
Por lo tanto, los métodos de análisis de big data son más desafiantes que los
métodos de análisis tradicionales [15].
El análisis de riesgo crediticio basado en big data utiliza big data de
múltiples fuentes y técnicas avanzadas de análisis de big data para ayudar a
la industria financiera a proporcionar alertas tempranas más precisas sobre los
riesgos crediticios. Y este método puede garantizar la puntualidad de los
resultados de las previsiones y puede proporcionar a los bancos un análisis
preciso orientado a la orientación y un apoyo eficaz para la formulación de
políticas crediticias.
C. ALMACENAMIENTO DE GRANDES DATOS Y TECNOLOGÍA DE COMPUTACIÓN
Hadoop es una plataforma de administración y almacenamiento distribuido
simple adecuada para procesar big data. Puede desarrollarse en combinación
con un marco escrito en el lenguaje Java y puede integrarse con el marco Java
SSH desarrollado por la plataforma de análisis de crédito y alerta temprana.
Hadoop es de código abierto con las ventajas de bajo costo, alta confiabilidad
y alta velocidad de procesamiento. Esto hace que Hadoop sea muy adecuado
para el análisis de riesgo crediticio y los sistemas de alerta temprana. Esta
plataforma de sistema utiliza Hadoop como soporte para el almacenamiento y
la computación de big data.
1) TECNOLOGÍA DE ALMACENAMIENTO DE DATOS
BASADA EN HDFS El sistema distribuido de Hadoop (HDFS) se utiliza para
almacenar grandes cantidades de datos [16] y es un componente del sistema
de archivos distribuido. El llamado almacenamiento distribuido se refiere a un
método de almacenamiento eficiente y confiable en el que varios servidores
pueden realizar operaciones de almacenamiento y computación en paralelo.
Hadoop puede asignar recursos de almacenamiento de forma dinámica a
través de cálculos en tiempo real durante el proceso de almacenamiento, lo
que aumenta significativamente la utilización de recursos.
La arquitectura general de HDFS sigue el almacenamiento modular,
interactivo y jerárquico. Primero, el almacenamiento modular significa que
HDFS almacena los metadatos del sistema y los datos de la aplicación en el
servidor NameNode y el servidor DataNode, respectivamente.
Los metadatos se refieren a datos que describen las características de los
datos y la información de atributos. Todos los servidores se comunican entre
sí a través de protocolos de control de transmisión. En segundo lugar, el
almacenamiento interactivo significa que el servidor DataNode almacena
VOLUMEN 8, 2020
Machine Translated by Google
Y. Liang et al.: Plataforma de alerta temprana y análisis de macrodatos financieros: estudio de caso
copias de seguridad de datos en varios otros servidores DataNode para la protección
de datos. Hadoop utiliza almacenamiento interactivo para lograr la confiabilidad del
almacenamiento y no utiliza mecanismos de protección de datos como el Sistema de
archivos virtuales paralelos (PVFS). Esta estrategia tiene la ventaja adicional de
duplicar el ancho de banda de transmisión de datos al tiempo que garantiza la
durabilidad y estabilidad de los datos.
El almacenamiento jerárquico se refiere a que el espacio de nombres HDFS está
representado por el inodo mediante una estructura jerárquica basada en archivos y
directorios. Los archivos y directorios en diferentes inodos registran operaciones de
datos e información de atributos de espacio.
Un cliente HDFS crea un nuevo archivo como se muestra en la Figura 9.
El cliente debe consultar primero el servidor de NameNode para obtener los bloques
de archivos en el primer DataNode. Luego, según la estrategia de punto a punto, se
obtiene el siguiente bloque de archivos para formar un canal de escritura de archivos
hasta que se completa la escritura de archivos.
La estrategia de almacenamiento anterior aumenta el rendimiento al tiempo que
garantiza el almacenamiento confiable de big data, por lo que la arquitectura de
almacenamiento basada en HDFS es muy adecuada para el almacenamiento de big
data de múltiples fuentes en este sistema.
FIGURA 9. Proceso de almacenamiento de archivos basado en el marco HDFS.
2) BASADA EN TECNOLOGÍA DE REDUCCIÓN DE DATOS
EN MAPA REDUCIR
MapReduce se utiliza para procesar y generar grandes conjuntos de datos.
Puede calcular estos conjuntos de datos en paralelo en varias máquinas grandes en
clúster para manejar las fallas de las máquinas. MapReduce utiliza de manera eficaz
la red y los discos al programar la comunicación entre máquinas para cumplir con
una variedad de tareas del mundo real.
Se ha acordado que MapReduce se utilice para completar tareas de computación
de big data. En promedio, se ejecutan 100 000 tareas en MapReduce todos los días.
El clúster MapReduce de Google puede completar alrededor de 20 pb de datos por
día.
Los cálculos de MapReduce utilizan un conjunto de pares clave-valor de entrada
y un conjunto de pares clave-valor de salida. Expresa los cálculos como dos
funciones, mapa y reduce. MapReduce usa pares clave-valor para pasar datos a la
función reduce. La función puede concatenar todos los pares clave-valor de datos y,
a través del cálculo, puede formar un pequeño conjunto de valores, que pueden tratar
con la
VOLUMEN 8, 2020
problema de que los datos no se pueden operar en la memoria porque los datos son
demasiado grandes.
Este ejemplo presenta primero la relación entre Big Data y el riesgo de crédito y
la analiza desde cinco aspectos: análisis de crédito, análisis de riesgo de crédito,
advertencia de riesgo interno, valor de los clientes y análisis de riesgo de la industria.
La tesis se centra en la aplicación de big data en el análisis del riesgo de crédito.
Además, el documento también explica la necesidad y los desafíos del riesgo
crediticio basado en big data. La segunda sección es el almacenamiento de datos y
la tecnología informática. Este documento presenta la tecnología de almacenamiento
distribuido de Hadoop (HDFS) y la tecnología informática de macrodatos de
MapReduce y resuelve los problemas informáticos y de almacenamiento de
macrodatos del sistema de análisis de distribución de crédito basado en macrodatos
de múltiples fuentes.
V. RESUMEN Este
documento presenta los métodos emergentes de tecnología de la información
utilizados en el análisis de alerta temprana de riesgos para la seguridad económica
nacional.
Explicamos el diseño de la arquitectura general a la ruta técnica detallada. Nos
enfocamos en las tecnologías de seguridad de la plataforma y un breve resumen del
género de la tecnología del marco de transmisión. Además, llevamos a cabo una
investigación preliminar sobre la aplicación de tecnologías de la información
emergentes, como macrodatos y computación en la nube, en la simulación de
seguridad económica y la práctica de alerta temprana. Además, analizamos la
aplicación de la tecnología de análisis de big data en la alerta temprana de riesgo de
crédito bancario. Esto brinda la posibilidad y el camino para la alerta temprana y la
simulación de riesgos de seguridad económica nacional.
En el futuro, se seleccionarán más tecnologías para la plataforma de alerta
temprana, por ejemplo, consideraremos agregar procesamiento de datos en tiempo
real [17], [18], soporte de decisiones de expertos [19], etc. Además, también
consideraremos abriendo la plataforma [20]–[25] para que la utilicen más
investigadores y formuladores de políticas como un puente para la academia, la
industria y el gobierno.
REFERENCIAS
[1] Y. Zhang, Y. Xu, ZY Dong, Z. Xu y KP Wong, "Alerta temprana inteligente del riesgo de inseguridad
dinámica del sistema de energía: Hacia una compensación óptima entre precisión y rapidez", IEEE
Trans. Ind. Informat., vol. 13, núm. 5, págs. 2544–2554, octubre de 2017.
[2] MA Abiad, Sistemas de alerta temprana: una encuesta y un enfoque de cambio de régimen, núms. 3–
32. Washington, DC, EE. UU.: FMI, 2003.
[3] YZ Wang, JJ Hou y Z.-Z. Liu, ''Un estudio de los modelos económicos de alerta temprana'', J. Hum.
Universidad (Ciencias Sociales), vol. 2, págs. 27 a 31, febrero de 2004.
[4] R. Ong, Los intereses de seguridad de China en el siglo XXI. Evanston, Illinois, EE. UU.:
Routledge, 2007.
[5] ZHW Lei, ''El sistema de medición de la seguridad económica de China en el contexto de la
globalización'' , Estudio de la economía mundial, vol. 1, págs. 8 a 13, enero de 2011.
[6] LD Xu y X. Hu, ''La viabilidad y la contramedida de reducir la injusticia ambiental de las regiones
subdesarrolladas'', J. Kunming Univ.
ciencia Tecnología (Ed. de Ciencias Sociales), vol. 1, págs. 7 a 11, enero de 2012.
[7] EM Akhmetshin y VL Vasilev, ''El control como instrumento de gestión e institución de seguridad
económica'', Acad. Gerencia Estratégica.
J., vol. 15, pág. 1 de enero de 2016.
[8] H. Zhou, Y. Qiu y Y. Wu, "Un sistema de alerta temprana para la evaluación del riesgo crediticio basado
en la simulación de eventos raros", en Proc. Conferencia de simulación asiática. Cham, Suiza:
Springer, 2007, págs. 85–94.
[9] X. Li, Q. Wang, L. Yang y X. Luo, "Método de conocimiento de la situación de seguridad de la red
basado en la visualización", en Proc. 3° Int. Conf. Información multimedia Neto. Secur., noviembre
de 2011, págs. 411–415.
36525
Machine Translated by Google
Y. Liang et al.: Plataforma de alerta temprana y análisis de macrodatos financieros: estudio de caso

[10] S. Piramuthu, ''Selección de características para decisiones de evaluación de riesgo de crédito FANG WANG recibió el Ph.D. Licenciado en
financiero'', informa J. Computing, vol. 11, núm. 3, págs. 258–266, agosto de 1999. Estadísticas de la Universidad Jiaotong de Beijing,
[11] A. McAfee, E. Brynjolfsson, TH Davenport, DJ Patil y D. Barton, ''Big data: The management Beijing, China. Actualmente ocupa un puesto
revolution'', Harvard Bus. Rev., vol. 90, núm. 10, págs. 60 a 68, 2012. posdoctoral en la Universidad Jiaotong de Beijing. Su
investigación principal se relaciona con la teoría de
[12] FL Greitzer, JR Strozer, S. Cohen, AP Moore, D. Mundie y J. Cowley, ''Análisis de amenazas
juegos, el aprendizaje automático, la economía industrial y la segurid
internas no intencionales derivadas de hazañas de ingeniería social'', en Proc. Seguridad
IEEE. Talleres de privacidad, mayo de 2014, págs. 236–250.

[13] M. Zineldin, ''La calidad y la gestión de las relaciones con los clientes (CRM) como estrategia
competitiva en la industria bancaria sueca'', TQM Mag., vol. 17, núm. 4, págs. 329–344, agosto
de 2005.
[14] B. Fang y P. Zhang, ''Grandes datos en las finanzas'', en Big Data Concepts, Theo ries, and
Applications. Cham, Suiza: Springer, 2016, págs. 391–412.
[15] M. Bennett, ''La ontología empresarial de la industria financiera: mejores prácticas para big data'',
J. Banking Regulation, vol. 14, núms. 3–4, págs. 255–268, julio de 2013.
[16] K. Shvachko, H. Kuang, S. Radia y R. Chansler, ''El sistema de archivos distribuido de Hadoop'',
en Proc. MSST, vol. 10, 2010, págs. 1 a 10.
XIAOJUN JIA recibió el Ph.D. Licenciado en economía
[17] J. Dean y S. Ghemawat, "Mapreduce: procesamiento de datos simplificado en grandes grupos",
por la Universidad Renmin de China, Beijing, China.
Commun. ACM, vol. 51, núm. 1, págs. 107 a 113, 2008.
Actualmente es Profesora Asociada en el Centro de
[18] D. Zhang, ''Análisis de big data del sistema de control de trenes de alta velocidad basado en el
Beijing para la Investigación de Desarrollo y Seguridad
modelo RDF difuso y razonamiento incierto'', Int. J. Comput., Comun.
Control, vol. 12, núm. 4, págs. 577–591, 2017.
Industrial, Universidad Jiao tong de Beijing. Su principal
[19] D. Zhang, J. Sui y Y. Gong, "Generación de datos de prueba de software a gran escala basada investigación se relaciona con las finanzas públicas, las
en la restricción colectiva y el método de combinación ponderada", Tech. finanzas, la economía industrial y la seguridad industrial.
Gaceta, vol. 24, núm. 4, págs. 1041–1049, 2017.
[20] S. Sagiroglu y D. Sinanc, "Big data: A review", en Proc. En t. Conf.
Tecnología de colaboración. sist. (CTS), mayo de 2013, págs. 42–47.
[21] RAA Habeeb, F. Nasaruddin, A. Gani, IAT Hashem, E. Ahmed y M. Imran, "Procesamiento de big
data en tiempo real para la detección de anomalías: una encuesta", Int. J.Inf. Administrar., vol.
45, págs. 289–307, abril de 2019.
[22] H. Atlam, R. Walters y G. Wills, ''Fog computing e Internet de las cosas: una revisión'', Big Data
Cognit. Computación, vol. 2, núm. 2, pág. 10, 2018.
[23] D.-H. Shih, H.-L. Hsu y P.-Y. Shih, ''Un estudio del sistema de alerta temprana en la evaluación
del riesgo de explosión de volumen de existencias con una plataforma de big data'', en Proc.
IEEE 4th Int. Conf. Computación en la nube. Anal de grandes datos. (ICCCBDA), abril de MENGGANG LI recibió el Ph.D. Licenciatura en
2019, págs. 244–248. economía aplicada de la Universidad Jiaotong de
[24] S. Li y H. Yu, ''Ecosistema de análisis de información financiera y big data: Fortalecimiento de la Beijing, Beijing, China. Actualmente es Decano de la
información personal bajo la regulación legal'', Inf. sist. Autobús E. Administrar., vol. 17, págs. Academia Nacional de Seguridad Económica de la
1 a 19, enero de 2019. Universidad Jiaotong de Beijing, Director del Laboratorio
[25] Z. Lv, X. Li y K.-K.-R. Choo, ''Plataforma de big data multimedia de gobierno electrónico para la de Ingeniería de Alerta Temprana de Seguridad
gestión de desastres'', Multimedia Tools Appl., vol. 77, núm. 8, págs. 10077–10089, abril de Económica Nacional de Beijing, Director de Filosofía y
2018.
Ciencias Sociales de Beijing Base de Investigación de
Desarrollo y Seguridad Industrial de Beijing, y el
Presidente del Comité Profesional de IEEE en Logística,
YI LIANG actualmente está cursando el Ph.D.
Informática y Sistema de Seguridad Industrial. Su investigación actual se refiere a la
Licenciado en economía aplicada por la Escuela de
seguridad económica nacional, la economía industrial y la seguridad industrial.
Economía y Gestión de la Universidad Jiaotong de
Beijing, Beijing, China. Su investigación actual está
relacionada con la economía industrial y la seguridad industrial.

DAIYONG QUAN recibió el Ph.D. Licenciado en TING LI actualmente está cursando el Ph.D. Licenciado
Ciencias de la Computación de la Universidad de la en economía aplicada por la Escuela de Economía y
Academia de Ciencias de China, Beijing, China, en Gestión de la Universidad Jiaotong de Beijing, Beijing,
2016. Actualmente es Ingeniero Superior de Archivos China. Su investigación actual está relacionada con la
de la Universidad de Ciencia y Tecnología de Beijing, seguridad industrial y la estructura industrial.
China. Sus intereses de investigación incluyen
algoritmos inteligentes, modelo de predicción de riesgo
económico y protección de activos digitales.

36526 VOLUMEN 8, 2020