PERIODO

ACADEMICO
2020-I

MATERIA: ANALISIS NUMERICO

PROFESOR: HENRY GARCIA

INVESTIGACION CONCEPTOS BASICOS

PROYECTO ANALISIS NUMERICO

ESTUDIANTES
LUIS FELIPE CRUZ CEBALLOS 2110065
JUAN PABLO VIVIESCAS

Universidad Industrial de Santander

Facultad de Ingenierías Fisicomecánicas
Ingeniería de Sistemas
Introducción a procesamiento de imágenes para entender DLSS:

En los juegos modernos, los fotogramas renderizados no se muestran directamente, sino que pasan
por un paso de mejora de la imagen de posprocesamiento que combina la entrada de varios
fotogramas renderizados, tratando de eliminar los artefactos visuales como el alias mientras se
preservan los detalles. Por ejemplo, Temporal AntiAliasing (TAA), un algoritmo basado en
sombreadores que combina dos fotogramas utilizando vectores de movimiento para determinar
dónde muestrear el fotograma anterior, es uno de los algoritmos de mejora de imagen más
comunes que se utilizan en la actualidad. Sin embargo, este proceso de mejora de la imagen es
fundamentalmente muy difícil de realizar correctamente.

Los investigadores de NVIDIA reconocieron que este tipo de problema, un problema de análisis y
optimización de imágenes sin una solución algorítmica limpia, sería una aplicación perfecta para la
IA. los casos de procesamiento de se encuentran entre las aplicaciones más exitosas del aprendizaje
profundo. El aprendizaje profundo ahora ha logrado una capacidad sobrehumana para reconocer
perros, gatos, pájaros, etc., al mirar los píxeles sin procesar en una imagen. En este caso, el objetivo
sería combinar imágenes renderizadas, basadas en la observación de píxeles sin procesar, para
producir un resultado de alta calidad, un objetivo diferente pero con capacidades similares.

La red neuronal profunda (DNN) que se desarrolló para resolver este desafío se llama Deep Learning
Super-Sampling (DLSS). DLSS produce una salida de calidad mucho más alta que TAA a partir de un
conjunto dado de muestras de entrada, y aprovechamos esta capacidad para mejorar el
rendimiento general.

Mientras que TAA se renderiza con la resolución final del objetivo y luego combina fotogramas,
restando detalles, DLSS permite un renderizado más rápido con un recuento de muestras de entrada
más bajo, y luego infiere un resultado que en la resolución objetivo es de calidad similar al resultado
de TAA, pero con aproximadamente la mitad del trabajo.

La muestra una muestra de los resultados de la demostración de UE4 Infiltrator. DLSS proporciona
una calidad de imagen similar a TAA, con un rendimiento mucho mejor. La potencia de renderizado
en bruto mucho más rápida de RTX 2080 Ti, combinada con la mejora de rendimiento de DLSS y
Tensor Cores, permite que RTX 2080 Ti alcance el doble de rendimiento que GTX 1080 Ti.1). tomado
de 1) NVIDIA TURING GPU ARCHITECTURE
CARACTERISTICAS DLSS

Caracteristicas del DLSS 1.0:

• DLSS = Deep Learning Super Sampling

• Inteligencia artificial aplicada a juegos
• Utiloizado para suavizar los bordes de los objetos
• DLSS funciona con núcleos tensores NVIDIA RTX, está disponible para todas las GPU NVIDIA
RTX y todas las resoluciones.
• DLSS es una red neuronal de aprendizaje profundo que utiliza el poder de NVIDIA RTX
TensorCores para aumentar la velocidad de fotogramas y generar fotogramas nítidos que
se acercan o superan el renderizado nativo.
• Al ser una inteligencia artificial se tiene que entrenar, la forma de entrenar esta en particular
es capturar imágenes de los juegos en condiciones normales 4k con una resolucion muy
alta, esto con la finalidad de que al usarlo durante el juego la inteligencia artificial pueda
generar el mismo resultado con un tiempo de carga menor, mejorando asi el rendimiento y
permitiendo asi jugar con muy buena resolucion siempre por encima de los 60 fps.
• DLSS puede combinar suavizado, mejora de funciones, nitidez de imagen y escala de
visualización que las soluciones tradicionales de suavizado no pueden.
• Con este enfoque, DLSS ofrece hasta 2 veces más rendimiento con una calidad de imagen
comparable a la representación nativa de resolución completa.

DLSS 2.0 ofrece varias mejoras clave sobre la versión original:

• DLSS 2.0 ofrece calidad de imagen de resolución nativa mientras renderiza solo la mitad de
los píxeles. Emplea nuevas técnicas de retroalimentación temporal para obtener detalles
de imagen más nítidos y una estabilidad mejorada de fotograma a fotograma.
• Gran escalado en todas las GPU y resoluciones GeForce RTX: un nuevo modelo de IA más
rápido utiliza Tensor Cores de forma más eficiente para ejecutarse 2 veces más rápido que
el original, mejorando las velocidades de fotogramas y eliminando las restricciones en las
GPU, configuraciones y resoluciones compatibles.
• Una red para todos los juegos: el DLSS original requería entrenar la IA para cada nuevo
juego. DLSS 2.0 proporciona una red de IA generalizada que funciona en todos los juegos.
Esto significa integraciones de juegos más rápidas y más títulos de DLSS.
• Opciones personalizables: DLSS 2.0 ofrece a los usuarios 3 modos de calidad de imagen
(Calidad, Equilibrado, Rendimiento) que controlan la resolución de renderización, con el
modo de rendimiento permitiendo ahora una superresolución hasta 4 veces mayor. Esto
significa más opciones para el usuario y aún mayores mejoras de rendimiento.
• Tiene dos entradas principales que alimentan la red de IA (fig.1):
1. Imágenes con alias de baja resolución realizadas por el motor del juego.
2. Baja resolución, vectores de movimiento de las mismas imágenes, también regenerados
por el motor del juego.
• Los vectores de movimiento nos dicen que objetos de dirección de la escena se mueven de
un fotograma a otro, y podemos aplicar estos vectores a la ultima salida de fotogramas de
alta resolución de la red para calcular como se verá el siguiente fotograma.
 Imagen donde se muestra el proceso de generación de imágenes por DLSS 2.0 en donde
los datos de entrada son imágenes de baja resolución y vectores de movimiento y que al
pasarlos por la IA se genera una imagen de 4k que servirá de retroalimentación temporal
para generar después una de 16k. Imagen tomada de (1. NVIDIA DLSS 2.0)

SPECTRAL IMAGING:

Las imágenes espectrales son imágenes que utilizan múltiples bandas en el espectro
electromagnético. Mientras que una cámara ordinaria captura luz en tres bandas de longitud de
onda en el espectro visible, rojo, verde y azul (RGB), la imagen espectral abarca una amplia variedad
de técnicas que van más allá de RGB. Las imágenes espectrales pueden utilizar el infrarrojo, el
espectro visible, el ultravioleta, rayos X o alguna combinación de los anteriores. Puede incluir la
adquisición de datos de imágenes en bandas visibles y no visibles simultáneamente, iluminación
desde fuera del rango visible o el uso de filtros ópticos para capturar un rango espectral específico.
También es posible capturar cientos de bandas de longitud de onda para cada píxel en una imagen.

Investigar el Google scholar del profe Hans García

Imagen con síntesis de palabras mas utilizadas en los títulos de los trabajos científicos realizados por
el profe Hans García presentes en Google scholar.
INTERPOLACIÓN EN IMÁGENES:

Nearest neighbor: It is a simplest interpolation. In this method each interpolated output pixel is
assigned the value of the nearest sample point in the input image. The interpolation kernel for the
nearest neighbor

Although this method is very efficient, the quality of image is very poor. It is because the Fourier
Transform of a rectangular function is equivalent to a sinc function; with its gain in pass band falls
off quickly. Also, it has prominent side lobes are in the logarithmical scale.

Bilinear interpolation

Bilinear interpolation is used to know values at random position from the weighted average of the
four closest pixels to the specified input coordinates, and assigns that value to the output
coordinates. The two linear interpolations are performed in one direction and next linear
interpolation is performed in the perpendicular direction. The interpolation kernel is given as

X is distance between two points to be interpolated

Bicubic interpolation The bicubic interpolation is advancement over the cubic interpolation in two
dimensional regular grid. The interpolated surface is smoother than corresponding surfaces
obtained by above mentioned methods bilinear interpolation and nearest-neighbour interpolation.
It uses polynomials, cubic, or cubic convolution algorithm. The Cubic Convolution Interpolation
determines the grey level value from the weighted average of the 16 closest pixels to the specified
input coordinates, and assigns that value to the output coordinates, the first four one-dimension.
For Bicubic Interpolation (cubic convolution interpolation in two dimensions), the number of grid
points needed to evaluate the interpolation function is 16, two grid points on either side of the point
under consideration for both horizontal and perpendicular direction. The bicubic convolution
interpolation kernel is:

Basic-splines (B-spline)

The nearest neighbor and Bilinear interpolations compromises the quality of image over efficiency
due to rectangular shape in the pass band and infinite side lobes. The B-spline interpolations
smoothly connects polynomials with pieces ([6]). A B-spline of degree n is derived through n
convolutions of the box filter, Bsp0. Thus B-spline of degree 1 can be represented as
Bsp1=Bsp0*Bsp0. The second degree B-spline B2 is produced by convolving Bsp0*Bsp1 and the
cubic B-spline Bsp3 is from convolving Bsp0*Bsp2. The interpolation kernel of cubic B-spline is :

Lanczos interpolation: Lanczos filter is used to interpolate the value of a digital signal between its
samples. It maps each sample of the given signal to a translated and scaled copy of the Lanczos
kernel. Lanczos kernel is a sinc function windowed by the central hump of a dilated sinc function.
Lanczos resampling used to increase the sampling rate of a digital signal ([7]). Lanczos kernel is the
normalized sinc function sinc(x), windowed by the Lanczos window, or sinc window (sinc(x/a) for −a
≤ x ≤ a. ([7]).
Where a is a positive integer (2 or 3). It determines the size of the kernel. The Lanczos kernel has 2a
− 1 lobes, a positive one at the centre and a − 1 alternating negative and positive lobes on each side.
For signal with samples si, the value S(x) interpolated at an real argument x is obtained by the
discrete convolution of those samples with the Lanczos kernel ([7]).
Referencias utilizadas
1) NVIDIA TURING GPU ARCHITECTURE
https://www.nvidia.com/content/dam/en-zz/Solutions/design-
visualization/technologies/turing-architecture/NVIDIA-Turing-Architecture-
Whitepaper.pdf

2) NVIDIA DLSS 2.0

https://www.nvidia.com/es-es/geforce/news/nvidia-dlss-2-0-a-big-leap-in-ai-rendering/
Multi-resolution compressive spectral imaging reconstruction from single pixel
measurements

Coded aperture design for solving the phase retrieval problem in X-ray crystallography

Single pixel spectral image fusion with side information from a grayscale sensor

Multi-resolution coded apertures based on side information for single pixel spectral
reconstruction

Multi-Resolution Reconstruction Algorithm for Compressive Single Pixel Spectral Imaging

Multiresolution spectral imaging by combining different sampling strategies in a

compressive imager, MR-CASSI

Spectral image fusion for increasing the spatio-spectral resolution through side
information

Tridimensional Convolutional Sparse Coding of Spectral Images

Object Classification Using Spectral Images and Deep Learning

MRI Brain Tumour Segmentation using a CNN Over a Multi-parametric Feature Extraction

Super-Resolution in Compressive Coded Imaging Systems via l2–l1–l2 Minimization Under

a Deep Learning Approach

Optimized Sensing Matrix for Single Pixel Multi-Resolution Compressive Spectral Imaging

Multi-resolution Reconstruction Algorithm for Phase Retrieval in X-ray Crystallography

Target Identification from Coded Diffraction Patterns via Template Matching

Low-Cost Optical architecture Based on RGB and Single Pixel Measurements Aiming to
UAV Applications

Acquisition System Based in a Low-Cost Optical Architecture with Single Pixel

Measurements and RGB Side Information for UAV Imagery

Impact of Multi-resolution reconstruction on Computed Tomography

Convolutional Basis Pursuit Denoising of Spectral Images Using a Tri-Dimensional Sparse

Representation
Multi-Resolution Reconstruction Of Spectral Images From Compressed Measurements By
Single Pixel Optical Sensing Architecture.

SLIC super-pixels for multi-resolution compressive spectral imaging reconstruction