PowerAI:

AI Vision AI Insight AI Enterprise

Ricardo Avilés
avilesr@mx1.ibm.com

Septiembre 2018
 AI CASOS DE USO
ESTÁN EN CUALQUIER LUGAR
 Artificial Machine Deep Learning
Intelligence Learning (Redes
Neuronales)
Mimica de Humanos Aprende con
Experiencia Auto-aprendizaje con
más datos

4
 Empresas que adoptan el
software AI de código abierto 57%
Desarrollos de AI
On-Prem
Empresas que construyen equipos de
Machine Learning

La mayoría usa software de código 42%

abierto: Cloud Hosted
Modeling
TensorFlow es el más popular
57%
Developed
IDC 2021 Market Size Projection: using on-prem
resources
$ 14B para servidores de IA

5
Deep Learning ha revolucionado METODOS MODERNOS DE AI
Machine Learning REQUIEREN ACCELERATED
SERVERS

Deep Learning que alimenta el

Deep
Learning
crecimiento de AI
Accuracy

Montones de Datos
Traditional & Mucho Cómputo
Machine
Learning
Requiere Sistemas con CPUs junto
con GPU Hardware Accelerators
Data
6
AI Stack de Infraestructura
Segmento Especifico:
Applications / Micro-Services Finanzas, Retail, Salud,
Seguridad

AI APIs In-House APIs Speech, Vision,

(Eg: Watson) (Custom models) NLP, Sentiment

Machine & Deep Learning TensorFlow, H2O,

Libraries & Frameworks pyTorch, SparkML
PowerAI
Cómputo distribuído &
Spark, MPI
Orquestación de Cluster +DSX
Transforma & Prep Hadoop HDFS,
Data (ETL)
Data Lake & Data Stores NoSQL DBs

Infraestructura
acelerada
Accelerated Servers Storage

7
 Watson PowerAI
Public Cloud On-Prem Private Cloud
Enterprise AI Platform Enterprise AI Platform

Watson APIs In-House AI APIs AI Models

(Pre-built AI Models) (Client AI Models) Built by Client Data Science Team Builds

PowerAI
Watson Machine & Deep Learning Infrastructure Machine / Deep Learning Software
+ Cluster Orchestration

Bluemix Software Stack IBM Cloud Private + Red hat

Power IBM Cloud

Systems Data Stores Power AI Systems Data Stores

Gupta 6/01/2018 V11 IBM 8

IBM POWER SYSTEMS

AC922
Una Supercarretera de Aceleración
Libere el IO Avanzado y el potencial de
cómputo acelerado en la era post
“CPU-only”.

Diseñado para la era de IA

Diseñado para el análisis moderno y
las cargas de trabajo de IA que
alimentan las estadísticas.

Entrega IA en Clase-Empresarial
Acelere el tiempo de la curva de valor de
la IA, aumente el viaje para construir,
entrenar, e inferir redes neuronales
produndas.
 Newell - POWER9 con NVLink 2.0
Descubre un desempeño sin precedentes
• GPU NVidia Volta
Mínimo 2, máximo 4
Procesador POWER9
Módulos con NVLink 2.0
DIMM’s de Memoria
(8x) por Procesador
Enfriados por aire integrado

Detalles del AC922

▪ 2-Socket, 2 Unidades de Rack
▪ 40 núcleos Power9
▪ 4 GPU's NVIDIA Volta with 32 GB
▪ 2 TB Memoria (16x - 128GB DIMMs)
▪ 4 PCIe Gen4 Slots
▪ 2x SFF (HDD/SSD), SATA, Hasta 7.7 TB storage
▪ Suporte 1.6TB y 3.2TB Adaptadores NVMe
▪ Fuentes de Poder y Ventiladores redundantes
▪ 3 años de Garantía 9x5

HPC Hardware / DOC v1.0 / Nov 10, 2017 / © 2017 IBM Corporation 10
 Cuál opción de PowerAI es la correcta para tí ?
La línea de productos de PowerAI incluyen 3 diferentes productos:

PowerAI es una distribución de Deploy con PowerAI Analice imágenes y videos con
software de código abierto de Enterprise para las empresas PowerAI Vision, ésta nos
populares frameworks open source que buscan escalar rápidamente proporciona herramientas e
de aprendizaje profundo, como sus aplicaciones de Deep learning; interfaces para analistas de
Tensorflow, Keras y Caffe. combina las funciones de PowerAI negocios, expertos en la materia y
Despliegue en horas, no meses, a anteriores con funcionalidades desarrolladores sin ninguna
través de una descarga binaria de adicionales para optimizar y habilidad en tecnologías de Deep
los marcos de código abierto clave acelerar la finalización de su learning para comenzar a utilizar el
Soporte pago disponible capacitación, pruebas y validación. mismo Deep learning. Este
Rendimiento para tiempos de Spectrum Conductor, incluido en software de nivel empresarial
entrenamiento más rápidos PowerAI Enterprise, domina la proporciona un ecosistema
Herramientas para facilitar el programación de trabajos en miles completo para etiquetar conjuntos
desarrollo de nodos, mejorando el de datos brutos para el
PowerAI incluye todas las rendimiento del sistema en un entrenamiento, la creación y la
dependencias necesarias y elimina 40%. Esto reduce el tiempo de implementación de modelos
el tiempo, el esfuerzo y la dificultad entrenamiento y aumenta la basados en el aprendizaje
asociados con lograr un entorno de eficiencia de sus nodos al asegurar profundo. Puede ayudar a entrenar
aprendizaje profundo operativo y que está usando lo más cerca modelos para clasificar imágenes y
con un rendimiento óptimo. posible al 100% de la capacidad de detectar objetos en imágenes y
su nodo. videos.
https://developer.ibm.com/linuxonpower/deep-learning-powerai/
 Cuál opción de PowerAI es la correcta para tí ?
La línea de productos de PowerAI incluyen 3 diferentes productos:
PowerAI es una distribución de
software de código abierto de
populares frameworks open source
de aprendizaje profundo, como
Tensorflow, Keras y Caffe.
Despliegue en horas, no meses, a
través de una descarga binaria de
los marcos de código abierto clave
Soporte pago disponible
Rendimiento para tiempos de
entrenamiento más rápidos
Herramientas para facilitar el
desarrollo
PowerAI incluye todas las
dependencias necesarias y elimina
el tiempo, el esfuerzo y la dificultad
asociados con lograr un entorno de
aprendizaje profundo operativo y
con un rendimiento óptimo.
Deploy con PowerAI
Enterprise para las empresas
que buscan escalar rápidamente
sus aplicaciones de Deep learning;
combina las funciones de PowerAI
anteriores con funcionalidades
adicionales para optimizar y
acelerar la finalización de su
capacitación, pruebas y validación.
Spectrum Conductor, incluido en
PowerAI Enterprise, domina la
programación de trabajos en miles
de nodos, mejorando el
rendimiento del sistema en un
40%. Esto reduce el tiempo de
entrenamiento y aumenta la
eficiencia de sus nodos al asegurar
que está usando lo más cerca
posible al 100% de la capacidad de
su nodo.
Analice imágenes y videos con
PowerAI Vision, ésta nos
proporciona herramientas e
interfaces para analistas de
negocios, expertos en la materia y
desarrolladores sin ninguna
habilidad en tecnologías de Deep
learning para comenzar a utilizar el
mismo Deep learning. Este
software de nivel empresarial
proporciona un ecosistema
completo para etiquetar conjuntos
de datos brutos para el
entrenamiento, la creación y la
implementación de modelos
basados en el aprendizaje
profundo. Puede ayudar a entrenar
modelos para clasificar imágenes y
detectar objetos en imágenes y
videos.
 Plataforma de AI integrada y compatible
PowerAI Herramientas de facilidad de uso para
Basado en plataforma Open- científicos de datos
Source Enterprise AI 3-4x más velocidad para entrenamiento AI

Herramientas de Desarrollo Ease-of-Use

Open Source Frameworks:

Supported Distribution
Caffe

Entrenamientos más rápidos vía

HW & SW Performance Optimizations

GPU-Accelerated Storage 13
Power Servers
 Razones porque los clientes seleccionan PowerAI
Simplicidad: Plataforma Fácil de usar, Faster Model Open AI Platform w/
integrada que solo funciona Capacidades únicas Training Time Ecosystem Partners

Power9 IBM ISV Solution

CPU SW SW SIs

PowerAI
GPU

Auto Machine Faster AI Platform that Partners

AI Platform Learning & Training Times Build On:
Built for the Support for Software Partners,
Enterprise Large Data Scalability to System Integrators,
Silicon Vendors
Science Teams 100s of Servers
14
SCALE TIME ACCURACY

train more | build more | know more

 Cuál opción de PowerAI es la correcta para tí ?
La línea de productos de PowerAI incluyen 3 diferentes productos:
PowerAI es una distribución de
software de código abierto de
populares frameworks open source
de aprendizaje profundo, como
Tensorflow, Keras y Caffe.
Despliegue en horas, no meses, a
través de una descarga binaria de
los marcos de código abierto clave
Soporte pago disponible
Rendimiento para tiempos de
entrenamiento más rápidos
Herramientas para facilitar el
desarrollo
PowerAI incluye todas las
dependencias necesarias y elimina
el tiempo, el esfuerzo y la dificultad
asociados con lograr un entorno de
aprendizaje profundo operativo y
con un rendimiento óptimo.
Deploy con PowerAI
Enterprise para las empresas
que buscan escalar rápidamente
sus aplicaciones de Deep learning;
combina las funciones de PowerAI
anteriores con funcionalidades
adicionales para optimizar y
acelerar la finalización de su
capacitación, pruebas y validación.
Spectrum Conductor, incluido en
PowerAI Enterprise, domina la
programación de trabajos en miles
de nodos, mejorando el
rendimiento del sistema en un
40%. Esto reduce el tiempo de
entrenamiento y aumenta la
eficiencia de sus nodos al asegurar
que está usando lo más cerca
posible al 100% de la capacidad de
su nodo.
Analice imágenes y videos con
PowerAI Vision, ésta nos
proporciona herramientas e
interfaces para analistas de
negocios, expertos en la materia y
desarrolladores sin ninguna
habilidad en tecnologías de Deep
learning para comenzar a utilizar el
mismo Deep learning. Este
software de nivel empresarial
proporciona un ecosistema
completo para etiquetar conjuntos
de datos brutos para el
entrenamiento, la creación y la
implementación de modelos
basados en el aprendizaje
profundo. Puede ayudar a entrenar
modelos para clasificar imágenes y
detectar objetos en imágenes y
videos.
Las principales características de PowerAI Enterprise

Arquitectura distribuida de aprendizaje profundo que simplifica el proceso de

capacitación de modelos de aprendizaje profundo en un clúster para obtener
resultados más rápidos.

Herramientas mejoradas de ingesta, preparación y transformación de datos, que

usan Apache Spark para la administración de datos. Servidores de IBM® Power®
Systems diseñados para aplicaciones de inteligencia artificial (AI) que incorporan
conexiones NVLink de gran ancho de banda y baja latencia entre aceleradores de
GPU para comunicaciones punto a punto y conectan directamente aceleradores de
GPU a CPU del sistema (y memoria del sistema).

Potentes herramientas de desarrollo de modelos, que incluyen la visualización del

entrenamiento en tiempo real y el monitoreo en tiempo de ejecución de la precisión y
la búsqueda y optimización de hiperparámetros, para un desarrollo más rápido del
modelo.

Se incluyen marcos de aprendizaje profundo listos para usar (TensorFlow, Caffe-

BVLC e IBM Caffe). Arquitectura multiusuario diseñada para ejecutar aprendizaje
profundo, análisis de alto rendimiento y otros servicios y marcos de larga ejecución
en recursos compartidos.
PROPUESTA de VALOR DE HOY basada en retroalimentación de clientes de muchas industrias.

▪ Integrada & Soportada AI Platform

▪ Mayor productividad para Data Scientists
Enterprise
▪ Ayuda a non-Data Scientists a usar AI
Integrated & Supported Platform
Enable non-Data Scientists to use AI • Validated & Co-optimized Software & Hardware
(Tools for ease of use) • Enterprise L1-L3 Support
• Integration with Data Stores, Cloud, Cluster Management
Integrated & Supported AI Platform • Integration with key ML Platforms (DSX, Anaconda, H2O)

Caffe • Integration with key Inference Platforms

Higher Productivity for Data Scientists
(Faster Training with Larger Models)
Higher Productivity for Data Scientists
• Performance: Scalability (reduction in training times)
• Capability: Large Models (larger more complex models)
• Ease of Use: Auto-hyper-parameter tuning
Enable Non-Data Scientists to use AI
• Rapid Prototyping & Labeling for SMEs
• Auto-ML (with PowerAI Vision * Not Included)
Enterprise
Jupyter / Zeppelin / TensorFlow
H20 / Anaconda Caffe

Workload Management / Scheduling

Monitoring & Reporting

Native Services Management
Deep
Resource Management & Orchestration Learning
Impact

Services & Support

IBM PowerAI OSS ML/DL Frameworks

Red Hat Linux / Docker

IBM Power Systems accelerated servers

IBM Spectrum Scale / IBM Cloud Object Storage 19
 Cuál opción de PowerAI es la correcta para tí ?
La línea de productos de PowerAI incluyen 3 diferentes productos:
PowerAI es una distribución de
software de código abierto de
populares frameworks open source
de aprendizaje profundo, como
Tensorflow, Keras y Caffe.
Despliegue en horas, no meses, a
través de una descarga binaria de
los marcos de código abierto clave
Soporte pago disponible
Rendimiento para tiempos de
entrenamiento más rápidos
Herramientas para facilitar el
desarrollo
PowerAI incluye todas las
dependencias necesarias y elimina
el tiempo, el esfuerzo y la dificultad
asociados con lograr un entorno de
aprendizaje profundo operativo y
con un rendimiento óptimo.
Deploy con PowerAI
Enterprise para las empresas
que buscan escalar rápidamente
sus aplicaciones de Deep learning;
combina las funciones de PowerAI
anteriores con funcionalidades
adicionales para optimizar y
acelerar la finalización de su
capacitación, pruebas y validación.
Spectrum Conductor, incluido en
PowerAI Enterprise, domina la
programación de trabajos en miles
de nodos, mejorando el
rendimiento del sistema en un
40%. Esto reduce el tiempo de
entrenamiento y aumenta la
eficiencia de sus nodos al asegurar
que está usando lo más cerca
posible al 100% de la capacidad de
su nodo.
Analice imágenes y videos con
PowerAI Vision, ésta nos
proporciona herramientas e
interfaces para analistas de
negocios, expertos en la materia y
desarrolladores sin ninguna
habilidad en tecnologías de Deep
learning para comenzar a utilizar el
mismo Deep learning. Este
software de nivel empresarial
proporciona un ecosistema
completo para etiquetar conjuntos
de datos brutos para el
entrenamiento, la creación y la
implementación de modelos
basados en el aprendizaje
profundo. Puede ayudar a entrenar
modelos para clasificar imágenes y
detectar objetos en imágenes y
videos.
Empieza a utilizar PowerAI Vision hoy
Prueba PowerAI Vision con dos entrenamientos en:
https://developer.ibm.com/linuxonpower/deep-learning-powerai/

IBM PowerAI Vision

Image Image Object Object Auto Deployment o

Labeling Classification Detection Detection for Parameter Inference
Videos Tuning and
Monitoring
PowerAI Vision: ”Point-and-Click” AI for Images & Video
Label Image or Auto-Train AI Package & Deploy
Video Data Model AI Model

22
 Vision

NON TECHIES ... CAN

crear categorías de ydetección para
etiquetar
Construír
cargar
usa datosdatos
el de utilizando
modelo exponerlo
el modelocon el caso de uso
que coincidan
como una API, de
entrenamiento para el consumo
video o
la
de
experiencia
seguridad
adquirida
utilizando la
en
de
el incluso
cámaras en
dominio detu
el nube
sitio híbrida
de dominio
negocios
experiencia empresarial
Fácil de Usar no se requieren habilidades de Data Scientist
 Auto-ML for Images & Video
PowerAI
Vision Label Train Deploy

PowerAI: Open Source ML Frameworks

PowerAI SnapML
Large Model Support (LMS) Deep Learning Impact
(DLI) Module

Distributed Deep Data & Model

Auto ML (future)
Learning (DDL) Management, ETL,
PowerAI Visualize, Advise

Enterprise IBM Spectrum Conductor with Spark

Cluster Virtualization, Elastic Training
Auto Hyper-Parameter Optimization

Accelerated
Infrastructure
Accelerated Servers Storage 26
Visión de DATOS – ponga su data a trabajar

Operations BI and Data Self-Service New Business

Warehousing Analytics Models
value

most
AI
are
here

cost reduction modernization insight-driven transformation

renovate innovate
Visión de DATOS – ponga su data a trabajar
Una Agenda en Infraestructura brinda mayor tiempo para la comprensión de
sus datos a un costo más bajo.
Operations BI and Data Self-Service New Business
Warehousing Analytics Models
value

most Cloud
are

AI
Private
here

cost reduction modernization insight-driven transformation

renovate innovate
GRACIAS
Ricardo Avilés
avilesr@mx1.ibm.com