Traducido del inglés al español - www.onlinedoctranslator.
com
FastNeRF: Representación neuronal de alta fidelidad a 200FPS
Stephan J. Garbin* marek kowalski* matthew johnson
jamie shotton julián valentín
icros
NeRF a 0.06FPS NeRF a 31 FPS
Figura 1.FastNeRFofrece vistas novedosas fotorrealistas de objetos de alta resolución a cientos de fotogramas por segundo. Los métodos existentes comparables,
como NeRF, son órdenes de magnitud más lentos y solo pueden generar imágenes de muy baja resolución a velocidades interactivas.
Resumen
El trabajo reciente en Neural Radiance Fields (NeRF)
mostró cómo las redes neuronales se pueden usar para
codificar entornos 3D complejos que se pueden
representar de manera fotorrealista desde puntos de vista
novedosos. La renderización de estas imágenes es muy
exigente desde el punto de vista computacional y las
mejoras recientes todavía están muy lejos de permitir
velocidades interactivas, incluso en hardware de gama alta.
Motivados por escenarios en dispositivos móviles y de
realidad mixta, proponemos FastNeRF, el primer sistema
basado en NeRF capaz de generar imágenes fotorrealistas
de alta fidelidad a 200 Hz en una GPU de consumo de gama
alta. El núcleo de nuestro método es una factorización
inspirada en gráficos que permite (i) almacenar en caché de
forma compacta un mapa de radiación profunda en cada
posición en el espacio, (ii) consultar de manera eficiente ese
mapa usando direcciones de rayos para estimar los valores
de píxeles en la imagen renderizada.
1. Introducción
La representación de escenas en tiempo real con calidad fotorrealista ha sido
durante mucho tiempo un objetivo de los gráficos por computadora. Los enfoques
tradicionales, como la rasterización y el trazado de rayos, a menudo requieren
* Denota igual contribución
Sitio web del proyecto:https://microsoft.github.io/FastNeRF
14346
FastNeRF a 200FPS
esfuerzo manual significativo en el diseño o preprocesamiento de la
escena para lograr calidad y velocidad. Recientemente, la
representación neuronal [10,27,17,25,19] ha ofrecido una alternativa
disruptiva: involucrar una red neuronal en la tubería de renderizado
para generar imágenes directamente [24,18,27] o para modelar
funciones implícitas que representen una escena apropiadamente [5,23,
29,25,40]. Más allá del renderizado, algunos de estos enfoques
reconstruyen implícitamente una escena a partir de cámaras estáticas o
en movimiento [25,36,1], lo que simplifica enormemente las
canalizaciones de reconstrucción tradicionales utilizadas en la visión
artificial.
Uno de los avances recientes más destacados en la representación
neuronal es Neural Radiance Fields (NeRF) [25] que, dado un puñado de
imágenes de una escena estática, aprende una representación volumétrica
implícita de la escena que se puede representar desde puntos de vista
novedosos. Las imágenes renderizadas son de alta calidad y conservan
correctamente las estructuras delgadas, los efectos dependientes de la vista y
las superficies parcialmente transparentes. NeRF ha inspirado un importante
trabajo de seguimiento que ha abordado algunas de sus limitaciones, en
particular las extensiones a escenas dinámicas [31,7,46], volver a encender [2,
3,37], e incorporación de la incertidumbre [22].
Un desafío común para todos los enfoques basados en NeRF
son sus altos requisitos computacionales para renderizar
imágenes. El núcleo de este desafío reside en la representación
volumétrica de la escena de NeRF. Se requieren más de 100
llamadas de red neuronal para renderizar un solo píxel de imagen,
lo que se traduce en varios segundos necesarios para renderizar
imágenes de baja resolución en GPU de gama alta. Exploraciones
recientes [35,15,28,dieciséis] realizado con el objetivo de mejorar
los requisitos computacionales de NeRF redujo el
tiempo de renderizado hasta 50×. Si bien son impresionantes, estos avances
todavía están muy lejos de habilitar la renderización en tiempo real en
hardware de nivel de consumidor. Nuestro trabajo cierra esta brecha
mientras mantiene la calidad, lo que abre una amplia gama de nuevas
aplicaciones para la representación neuronal. Además, nuestro método
podría formar el bloque de construcción fundamental para la representación
neuronal en altas resoluciones.
Para lograr este objetivo, utilizamos el almacenamiento en caché para
intercambiar memoria por eficiencia computacional. Como NeRF es
fundamentalmente una función de posicionespags∈R3y direcciones de rayosd∈R2
colorearC∈R3(RGB) y una densidad escalarσ, un enfoque ingenuo
sería construir una representación en caché de esta función en el
espacio de sus parámetros de entrada. Ya queσsolo depende de
pags,se puede almacenar en caché usando metodologías
existentes. El colorC, sin embargo, es una función de la dirección
del rayodyposiciónpags.Si este espacio de 5 dimensiones se
discretizara con 512 contenedores por dimensión, se requeriría
una caché de alrededor de 176 terabytes de memoria, mucho más
de lo que está disponible en el hardware de consumo actual.
Idealmente, trataríamos las direcciones y posiciones por separado y
así evitaríamos la explosión polinomial en el espacio de caché
requerido. Afortunadamente, este problema no es exclusivo de NeRF; la
ecuación de renderizado (módulo la longitud de onda de la luz y el
tiempo) también es una función deR5y resolverlo de manera eficiente es
el principal desafío de los gráficos por computadora en tiempo real.
Como tal, hay un gran cuerpo de investigación que investiga formas de
aproximar esta función, así como medios eficientes para evaluar la
integral. Una de las aproximaciones más rápidas de la ecuación de
renderizado implica el uso de armónicos esféricos de modo que la
integral resulte en un producto escalar de los coeficientes armónicos
del modelo de material y el modelo de iluminación. Inspirándonos en
esta aproximación eficiente, factorizamos el problema en dos funciones
independientes cuyas salidas se combinan usando su producto interno
para producir valores RGB. La primera función toma la forma de un
perceptrón multicapa (MLP) que está condicionado a la posición en el
espacio y devuelve un mapa compacto de radiación profunda
parametrizado porDcomponentes La segunda función es una MLP
condicionada a la dirección del rayo que produceDpesos para elD
Componentes del mapa de radiación profunda.
Esta arquitectura factorizada, que llamamos FastNeRF, permite
almacenar en caché de forma independiente las salidas dependientes de la
posición y de la dirección del rayo. Asumiendo quekyyodenote el número de
contenedores para posiciones y direcciones de rayos respectivamente, el
almacenamiento en caché de NeRF tendría una complejidad de memoria deO
(k3yo2). Por el contrario, el almacenamiento en caché de FastNeRF tendría una
complejidad deO(k3∗(1 +D∗3) +yo2∗D). Como resultado de esta complejidad de
memoria reducida, FastNeRF se puede almacenar en caché en la memoria de
una GPU de consumo de gama alta, lo que permite tiempos de búsqueda de
funciones muy rápidos que, a su vez, conducen a un aumento espectacular
en el rendimiento del tiempo de prueba.
Si bien el almacenamiento en caché consume una cantidad significativa
de memoria, vale la pena señalar que las implementaciones actuales de
14347
NeRF también tiene grandes requisitos de memoria. Un solo pase hacia
adelante de NeRF requiere realizar cientos de pases hacia adelante a
través de una capa de ocho256unidad oculta MLP por píxel. Si los
píxeles se procesan en paralelo por motivos de eficiencia, esto consume
grandes cantidades de memoria, incluso a resoluciones moderadas.
Dado que muchos escenarios naturales (p.ej. una sala de estar, un
jardín) son escasos, podemos almacenar nuestro caché escasamente.
En algunos casos, esto puede hacer que nuestro método sea realmente
más eficiente en memoria que NeRF.
En resumen, nuestras principales contribuciones son:
• El primer sistema basado en NeRF capaz de generar vistas
novedosas fotorrealistas en200FPS, miles de veces más
rápido que NeRF.
• Una factorización inspirada en gráficos que se puede almacenar en
caché de forma compacta y posteriormente consultar para calcular los
valores de píxel en la imagen renderizada.
• Un plano que detalla cómo la factorización propuesta puede
ejecutarse eficientemente en la GPU.
2. Trabajo relacionado
FastNeRF pertenece a la familia de métodos Neural Radiance Fields [
25] y está capacitado para aprender un mapa de radiación profunda
comprimido e implícito parametrizado por posición y dirección de la
vista que proporciona estimaciones de color y densidad. Nuestro
método difiere de [25] en la estructura del modelo implícito,
cambiándolo de tal manera que los componentes posicionales y
direccionales se puedan discretizar y almacenar en cuadrículas 3D
dispersas.
Esto también diferencia nuestro método de los modelos que utilizan una
cuadrícula discretizada en el momento del entrenamiento, como Neural
Volumes [18] o volúmenes de reflectancia profunda [3]. Debido a los
requisitos de memoria asociados con la generación y el almacenamiento de
volúmenes 3D en el momento del entrenamiento, la resolución de la imagen
de salida de [18,3] está limitado por el tamaño de volumen máximo de1283.
Por el contrario, nuestro método utiliza volúmenes tan grandes como10243.
Después de [18,3], el problema de la estimación de parámetros para
un MLP con coordenadas de entrada de baja dimensión se abordó
utilizando codificaciones de características de Fourier. Después de su
uso en [41], esto se popularizó en [25,49] y explorado en mayor detalle
por [40].
Campos de radiación neuronal (NeRF) [25] mostró por primera vez una
compresión convincente de un campo de luz utilizando características de
Fourier. Usando un modelo completamente implícito, NeRF no está vinculado
a ninguna cuadrícula voxelizada, sino solo a un dominio específico. A pesar
de los impresionantes resultados, una desventaja de este método es que se
debe llamar a un MLP complejo para cada muestra a lo largo de cada rayo, lo
que significa cientos de invocaciones de MLP por píxel de imagen.
Una forma de acelerar la inferencia de NeRF es escalar a
múltiples procesadores. Esto funciona particularmente bien porque
cada píxel en NeRF se puede calcular de forma independiente. Por
un 800×800imagen de píxeles, JaxNeRF [6] logra una inferencia
velocidad de 20,77 segundos en una GPU Nvidia Tesla V100, 2,65
segundos en8GPU V100 y 0,35 segundos en 128 unidades de
procesamiento de tensor de segunda generación. De manera similar, el
dominio de integración volumétrica se puede dividir y usar modelos
separados para cada parte. Este enfoque se toma en el método de
campos de radiación descompuestos [35], donde un dominio de
integración se divide en celdas de Voronoi. Esto produce mejores
puntajes en las pruebas y una aceleración de hasta3×.
Una forma diferente de aumentar la eficiencia es darse cuenta
de que las escenas naturales tienden a ser escasas
volumétricamente. Por lo tanto, se puede ganar eficiencia
saltándose regiones vacías del espacio. Esto equivale a un
muestreo de importancia de la distribución de ocupación del
dominio de integración. Un enfoque es usar una cuadrícula de
vóxeles en combinación con la función implícita aprendida por el
MLP, como se propone en Neural Sparse Voxel Fields (NSVF) [
dieciséis] y nivel de detalle geométrico neural [38] (solo para SDF),
donde se utiliza un octárbol disperso construido dinámicamente
para representar la ocupación de la escena. Sin embargo, como
aún se debe consultar una red dentro de los vóxeles ocupados, los
NSVF tardan entre 1 y 4 segundos en generar un 8002imagen, con
disminuciones a PSNR en el extremo inferior de esos tiempos.
Nuestro método es mucho más rápido en un escenario similar.
Otra forma de representar la distribución de importancia es a través
de la predicción de profundidad para cada píxel. Este enfoque se adopta
en [28], que es concurrente con el nuestro y alcanza aproximadamente
15FPS para8002imágenes con calidad reducida o aproximadamente la
mitad de calidad comparable a NeRF.
Ortogonal a esto, AutoInt [15] mostró que se puede usar una red
neuronal para aproximar las integrales a lo largo de cada rayo con
muchas menos muestras. Si bien es significativamente más rápido que
NeRF, aún no proporciona velocidades de cuadro interactivas.
Lo que diferencia nuestro método de los descritos anteriormente es que la
descomposición propuesta por FastNeRF y el posterior almacenamiento en caché
nos permiten evitar por completo las llamadas a un MLP en el momento de la
inferencia. Esto hace que nuestro método sea más rápido en términos absolutos
incluso en una sola máquina.
Vale la pena señalar que nuestro método no aborda la velocidad de
entrenamiento, como por ejemplo [39]. En ese caso, los autores proponen
mejorar la velocidad de entrenamiento de los modelos NeRF al encontrar la
inicialización a través del metaaprendizaje.
Finalmente, existen estrategias de representación neuronal ortogonal
capaces de una inferencia rápida, como los gráficos basados en puntos
neuronales [11], Mezcla de Primitivos Volumétricos [19] o pulsar [12], que
utilizan formas de primitivas geométricas y rasterización. En este trabajo, solo
tratamos con representaciones funcionales implícitas similares a NeRF
combinadas con trazado de rayos.
3. Método
En esta sección, describimos FastNeRF, un método que es
3000 veces más rápido que el sistema Neural Radiance Fields
(NeRF) original [25] (Sección3.1). Este avance permite
renderizar imágenes fotorrealistas de alta resolución en
14348
más de 200 Hz en hardware de consumo de gama alta. La idea
central de nuestro enfoque (Sección3.2) consiste en factorizar NeRF
en dos redes neuronales: una red dependiente de la posición que
produce un mapa de radiación profunda y una red dependiente de
la dirección que produce pesos. El producto interno de los pesos y
el mapa de radiación profunda estima el color de la escena en la
posición especificada y visto desde la dirección especificada. Esta
arquitectura, que llamamos FastNeRF, se puede almacenar en
caché de manera eficiente (Sección3.3), mejorando
significativamente la eficiencia del tiempo de prueba mientras se
preserva la calidad visual de NeRF. Ver figura2para una
comparación de las arquitecturas de red NeRF y FastNeRF.
3.1. Campos de radiación neuronal
Un campo de radiación neuronal (NeRF) [25] captura una
representación 3D volumétrica de una escena dentro de los
pesos de una red neuronal. La red neuronal de NeRFFNeRF: (p, d
)7→ (c, σ)mapea una posición 3Dpags∈R3y una dirección de
rayo d∈R2a un valor de colorCy transparenciaσ. Ver el lado
izquierdo de la figura2para un diagrama deFNeRF.
Para renderizar un solo píxel de imagen, se proyecta un rayo
desde el centro de la cámara, que atraviesa ese píxel y entra en la
escena. Denotamos la dirección de este rayo comod. Varias
posiciones 3D (pags1,··· ,pagsnorte)luego se muestrean a lo largo del
rayo entre sus límites cercano y lejano definidos por los
parámetros de la cámara. la red neuronalFNeRFse evalúa en cada
posiciónpagsiy dirección del rayodpara producir colorCiy
transparenciaσi. Estas salidas intermedias se integran de la
siguiente manera para producir el color de píxel finalC:
∑norte
C= Ti(1−Exp(−σidi))Ci, (1)
i=1
∑yo−1
dóndeTi=Exp(− j=iσjdj)es la transmitancia y
di= (pagsi+1− pagsi)es la distancia entre las muestras. Ya queFNeRF
depende de las direcciones de los rayos, NeRF tiene la capacidad de
modelar efectos dependientes del punto de vista, como reflejos
especulares, que es una dimensión clave en la que NeRF mejora los
métodos de reconstrucción 3D tradicionales.
El entrenamiento de una red NeRF requiere un conjunto de imágenes de
una escena, así como los parámetros extrínsecos e intrínsecos de las cámaras
que capturaron las imágenes. En cada iteración de entrenamiento, se elige
aleatoriamente un subconjunto de píxeles de las imágenes de entrenamiento
y para cada píxel se genera un rayo 3D. Luego, se selecciona un conjunto de
muestras a lo largo de cada rayo y el color del píxel. Cse calcula usando la
Ecuación (1). La pérdida de entrenamiento es la diferencia media cuadrática
entreCy el valor de píxel de verdad del terreno. Para obtener más detalles,
consulte [25].
Si bien NeRF genera imágenes fotorrealistas, requiere
llamarFNeRFun gran número de veces para producir una sola
imagen. Con el número predeterminado de muestras por píxel
norte=192propuesto en NeRF [25], casi 400 millones de
llamadas aFNeRFse requieren para calcular una sola imagen de
alta definición (1080p). Además, las salidas intermedias de
  
( 1 1 1)  

( ,  ,  ) ⋮         (    )

   =1
(      )
posición-
dependiente

(    ) MLP    
128-d
vector
( ,  ) ( 1,  2, . . ,   )
( ,  ,  ) ( ,  )
dirección-
dependiente
NeRF MLP     FastNeRF
Figura 2. Izquierda: arquitectura de red neuronal NeRF. (x, y, z)denota la posición de la muestra de entrada, (θ, φ)denota la dirección del rayo y
(r, gramo, segundo, σ)son los valores de color y transparencia de salida. Derecha: nuestra arquitectura FastNeRF divide la misma tarea en dos redes neuronales
que se pueden almacenar en caché. La red dependiente de la posiciónFposicióngenera un mapa de radiación profunda (tu, v, w)que consiste enDcomponentes,
mientras que elFdirectoriogenera los pesos de esos componentes (β1, . . . , βD)dada una dirección de rayo como entrada.

este proceso requeriría cientos de gigabytes de memoria. Incluso
en las GPU de consumo de gama alta, esto limita la ejecución del
método original en varios lotes, incluso para una resolución media
(800×800)imágenes, lo que genera gastos generales de cálculo
adicionales.
3.2. Campos de radiación neuronal factorizados
en posicionespagsy otra que depende solo de las direcciones de los
rayosd. De manera similar a la evaluación de la ecuación de renderizado
utilizando armónicos esféricos, nuestro dependiente de la posiciónF
posicióny dependiente de la direcciónFdirectorioLas funciones producen
salidas que se combinan usando el producto escalar para obtener el
valor de color en la posiciónpagsobservado desde la direcciónd.
Crucialmente, esta factorización divide una sola función que toma

Alejándonos un poco del renderizado neuronal por un momento, entradas enR5en dos funciones que toman entradas enR3yR2. Como se

recordamos que en los gráficos por computadora tradicionales, la ecuación explica en la siguiente sección, esto hace posible el almacenamiento en

de renderizado [9] es una integral de la forma caché de las salidas de la red y permite acelerar NeRF en 3 órdenes de

∫ magnitud en el hardware de consumo. Ver figura3para una

representación visual de la aceleración lograda.
Lo(p, d) = Fr(p, d, ωi)Li(pag, ωi)(ωi·norte)dωi,(2)
Ω Las funciones dependientes de la posición y de la dirección de
FastNeRF se definen de la siguiente manera:
dóndeLo(p, d)es el resplandor que sale del puntopagsen direcciond,
Fr(p, d, ωi)es la función de reflectancia que captura las propiedades Fposición:pags7→ {σ,(tu, tu, tu)}, (3)
del material en la posiciónpags,Li(pag, ωi)describe la cantidad de Fdirectorio:d7→ β, (4)
luz que llegapagsdesde la direcciónωi, ynortecorresponde a la
dóndetu, tu, tusonD-vectores dimensionales que forman un mapa de
dirección de la normal a la superficie enpags. Dada su importancia
radiancia profunda que describe la radiancia dependiente de la vista en
práctica, la evaluación eficiente de esta integral ha sido un tema de
la posiciónpags. la salida deFdirectorio,β, es unD-vector dimensional de
investigación activa durante más de tres décadas.9,42,8,33]. Una
pesos para elDcomponentes del mapa de radiación profunda. El
forma eficiente de evaluar la ecuación de renderizado es aproximar
producto interno de los pesos y el mapa de radiación profunda
Fr(p, d, ωi)yLi(pag, ωi)utilizando armónicos esféricos [4,45]. En este
caso, evaluar la integral se reduce a un producto escalar entre los ∑D
coeficientes de ambas aproximaciones de armónicos esféricos. C= (r, g, b) = βi(tui, vi,wi) =β T·(tu, tu, tu) (5)
i=1

Con esta idea en mente, podemos volver a la representación
neuronal. En el caso de NeRF,FNeRF: (p, d)también puede
interpretarse como el retorno del punto de partida de la radiación
pagsen direcciond. Esta idea clave nos lleva a proponer una nueva
arquitectura de red para NeRF, a la que llamamos FastNeRF. Esta
novedosa arquitectura consiste en dividir la red neuronal de NeRFF
NeRFen dos redes: una que depende sólo
da como resultado el color estimadoC= (r, g, b)en la posiciónpags
observado desde la direcciónd.
Cuando las dos funciones se combinan usando la Ecuación (5),
la función resultanteFFastNeRF(p, d)7→(c, σ)tiene la misma firma que
la funciónFNeRFutilizado en NeRF. Esto permite efectivamente usar
la arquitectura FastNeRF como un reemplazo directo para la
arquitectura de NeRF en tiempo de ejecución.

14349
3.3. almacenamiento en caché
Dada la gran cantidad de muestras que deben evaluarse para
generar un solo píxel, el costo de la computaciónFdomina el costo total
del renderizado NeRF. Por lo tanto, para acelerar NeRF, se podría
intentar reducir el costo del tiempo de prueba deF almacenando en
caché sus salidas para un conjunto de entradas que cubren el espacio
de la escena. El caché se puede evaluar en una fracción del tiempo que
se tarda en calcularF.
Para un modelo NeRF entrenado, podemos definir un cuadro
delimitadorVque cubre toda la escena capturada por NeRF. Entonces
podemos muestrear uniformementekvalores para cada una de las 3
coordenadas del espacio mundial (x, y, z) =pagsdentro de los límites deV
. De manera similar, muestreamos uniformementeyovalores para cada
una de las coordenadas de dirección del rayo (θ, φ) =dconθ∈ 〈0, π〉yφ
∈ 〈0,2π〉. Luego, el caché se genera computandoFpara cada
combinación de muestraspagsyd.
El tamaño de tal caché para unestándarmodelo NeRF conk=yo=1024
y los valores de coma flotante de 16 bits densamente almacenados son
de aproximadamente 5600 terabytes. Incluso para volúmenes muy
escasos, en los que solo sería necesario conservar el 1 % de las salidas,
el tamaño de la memoria caché superaría con creces la capacidad de
memoria del hardware de nivel de consumidor. Este enorme
requerimiento de memoria es causado por el uso de ambosdypags
como entrada aFNeRF.Es necesario guardar una salida separada para
cada combinación dedypags, resultando en una complejidad de
memoria del orden deO(k3yo2).
Nuestra arquitectura FastNeRF hace posible el almacenamiento en
caché. Para k=yo=1024,D=8del tamaño de dos escondites densos que
contienen{σ,(tu, tu, tu))}yβserían aproximadamente 54 GB. Para
volúmenes moderadamente escasos, donde se ocupa el 30 % del
espacio, el requisito de memoria es lo suficientemente bajo como para
caber en la memoria de la CPU o la GPU de las máquinas de consumo.
En la práctica, la elecciónkyyodepende del tamaño de la escena y de la
resolución de imagen esperada. Para muchos escenarios, un caché más
pequeño dek=512, yo=256es suficiente, lo que reduce aún más los
requisitos de memoria. Consulte los materiales complementarios para
conocer las fórmulas utilizadas para calcular los tamaños de caché para
ambas arquitecturas de red.
4. Implementación
Aparte de usar la arquitectura FastNeRF propuesta descrita en la
Sección3.2, entrenar FastNeRF es idéntico a entrenar NeRF [25].
ModelamosFposiciónyFvistade FastNeRF utilizando MLP de 8 y 4 capas
respectivamente, con codificación posicional aplicada a las entradas [25
]. El MLP de 8 capas tiene384 unidades ocultas, y usamos128para la red
de 4 capas de predicción de vistas. La única excepción a esto es elfi
porqueescena, donde encontramos un256unidad MLP dio mejores
resultados que una 384unidad MLP. Si bien esto hace que la red sea
más grande que la línea de base, la velocidad de búsqueda de caché no
se ve afectada por la complejidad de MLP. De manera similar a NeRF,
parametrizamos la dirección de la vista como un vector unitario
tridimensional. Otro entrenamiento-
14350
250FPS 238.1FPS
200FPS 172.4FPS
150 FPS
100FPS
50FPS
15.0FPS
0.06FPS 0.18FPS 1.1FPS
0FPS
NeRF DeRF NSVF DONeRF nuestro 1k nuestro 512
escondite
Figura 3. Evaluación de la velocidad de nuestro método y trabajo previo [25,
35, dieciséis,28] en la escena Lego del Realistic 360 Synthetic [25] conjunto de
datos, representado en800×800píxeles Para los métodos anteriores, cuando
los números para la escena de Lego no estaban disponibles, usamos una
aproximación optimista.
características y configuraciones de tiempo, incluidas las redes gruesas/
finas y el recuento de muestrasnortesigue el trabajo original de NeRF [
25] (consulte los materiales complementarios).
En el momento de la prueba, tanto nuestro método como NeRF
toman un conjunto de parámetros de la cámara como entrada que se
utilizan para generar un rayo para cada píxel en la salida. Luego se
producen varias muestras a lo largo de cada rayo y se integran
siguiendo la Sección3.1. Si bien FastNeRF se puede ejecutar utilizando
su representación de red neuronal, su rendimiento mejora
considerablemente cuando se almacena en caché. Una vez que se
genera el caché, lo convertimos en una estructura de datos dispersa
usando OpenVDB [26], que mejora el rendimiento y reduce la huella de
memoria. Para mejorar aún más el rendimiento, utilizamos el trazado
de rayos acelerado por hardware [32] para omitir el espacio vacío,
comenzando a integrar puntos a lo largo del rayo solo después del
primer golpe con una malla de colisión derivada del volumen de
densidad, y visitando cada vóxel a partir de entonces hasta que se
satura la transmitancia de un rayo. La malla de colisión se puede
calcular a partir de una función de distancia de signo derivada del
volumen de densidad utilizando Marching Cubes [20]. Usamos los
mismos parámetros de malla e integración para todas las escenas y
conjuntos de datos, consulte el suplemento para obtener más detalles.
5. Experimentos
Evaluamos nuestro método cuantitativa y cualitativamente en el Realistic
360 Synthetic [25] y fusión de campo de luz local (LLFF) [24] (con adiciones de
[25]) conjuntos de datos utilizados en el documento NeRF original. Mientras
que el conjunto de datos sintético NeRF consiste en vistas de 360 grados de
objetos complejos, el conjunto de datos LLFF consiste en escenas orientadas
hacia adelante, con menos imágenes. En todas las comparaciones con NeRF
usamos los mismos parámetros de entrenamiento que se describen en el
artículo original [25].
Para evaluar la calidad de renderizado de FastNeRF,
comparamos sus resultados con GT utilizando la relación pico
señal/ruido (PSNR), la similitud estructural (SSIM) [43] y perceptivo
 Lego

Barco Nuestro Nuestro

GT NeRF
Nuestro

sin caché caché grande pequeño caché

Figura 4. Comparación cualitativa de nuestro método vs NeRF en el conjunto de datos de [25] a8002píxeles utilizando 8 componentes.Caché pequeñose refiere a nuestro
método almacenado en caché en2563, ycaché grandea7683. Variar el tamaño de la memoria caché permite intercambiar computación y memoria por una calidad de imagen
similar a los niveles de detalle (LOD) en los gráficos de computadora tradicionales.

Tabla 1. Comparamos NeRF con nuestro método cuando no se almacena en caché en una cuadrícula, y cuando se almacena en caché a una resolución alta en términos de
PSNR, SSIM y LPIPS, y también proporcionamos la velocidad promedio en ms de nuestro método cuando se almacena en caché. LLFF denota el conjunto de datos de [24] a504×
378píxeles, el otro conjunto de datos es el de [25] a8002píxeles Usamos8componentes y un10243caché para las escenas NeRF Synthetic 360 y 6 componentes en7683para LLFF.
Consulte el material complementario para obtener resultados más detallados.

Escena NeRF Nuestro - Sin caché Nuestro - Caché Velocidad

PSNR↑ SSIM↑ LPIPS↓ PSNR↑ SSIM↑ LPIPS↓ PSNR↑ SSIM↑ LPIPS↓

Sintético Nerf 29.54dB 0.94 0.05 29.155dB 0.936 0.053 29.97dB 0.941 0.053 4.2milisegundo

LLFF 27.72dB 0.88 0.07 27.958dB 0.888 0.063 26.035dB 0.856 0.085 1.4milisegundo

LPIPS [48]. Usamos las mismas métricas en nuestro estudio de puts y entrenamiento de NeRF, mantenemos la compatibilidad con el trazado
ablación, donde evaluamos los efectos de cambiar la cantidad de de rayos [44,9] y la capacidad de especificar solo límites de volumen sueltos.
componentesDy el tamaño de la memoria caché. Todas las Al mismo tiempo, nuestra factorización y almacenamiento en caché no
comparaciones de velocidad se ejecutan en una máquina equipada afectan en gran medida el carácter de las imágenes renderizadas. Consulte la
con una GPU Nvidia RTX 3090. figura4y figura5para comparaciones cualitativas, y Tabla1para una evaluación
cuantitativa. Tenga en cuenta que pueden aparecer algunos artefactos de
Mantenemos el tamaño del caché dependiente de la vistaFcachevista
alias ya que nuestro modelo está almacenado en caché en una cuadrícula
lo mismo para todos los experimentos a una resolución base de3843. Es
despuéscapacitación. Esto explica la disminución en todas las métricas en
la resolución base de la caché RGBD.Fcacheeso representa la principal
posición
función de la resolución de la cuadrícula, como se ve en la Tabla1. Sin
compensación en la complejidad del tiempo de ejecución y la memoria
embargo, tanto NeRF como FastNeRF mitigan las inconsistencias de múltiples
frente a la calidad de la imagen. En todos los resultados, la resolución
vistas, las imágenes fantasma y otros artefactos similares de la
de la cuadrícula se refiere al número de divisiones del lado más largo
reconstrucción de múltiples vistas. Mesa1demuestra que a resoluciones de
del volumen delimitador que rodea el objeto de interés.
caché lo suficientemente altas, nuestro método es capaz
Calidad de representación:Debido a que adoptamos las entradas, salidas

14351
 Hojas

Cuernos Nuestro Nuestro Nuestro

GT NeRF
sin caché caché grande pequeño caché

Figura 5. Comparación cualitativa de nuestro método vs NeRF en el conjunto de datos de [24] a504×378píxeles utilizando 6 factores.Caché pequeñose refiere a nuestro método
almacenado en caché en2563, ycaché grandea7683.

Tabla 2. Comparación de velocidad de nuestro método vs NeRF en ms. losSillayLegolas escenas están renderizadas en8002resolución,CuernosyHojas escenas en504×378.
Nuestro método nunca cae por debajo de 100FPS cuando se almacena en caché y, a menudo, es significativamente más rápido. Tenga en cuenta que nuestro método es más
lento cuando no se almacena en caché debido al uso de MLP más grandes; funciona de manera idéntica a NeRF cuando se usa256unidades ocultas. No calculamos la memoria
caché de mayor resolución para las escenas LLFF porque son menos dispersas debido al uso de coordenadas de dispositivo normalizadas.

Escena NeRF nuestro - Sin caché2563 3843 5123 7683 10243 Aceleración sobre NeRF

Silla 17.5k 28.2k 0.8 1.1 1.4 2.0 2.7 6468×-21828×

Lego 17.5k 28.2k 1.5 2.1 2.8 4.2 5.6 3118×-11639×
Cuernos* 3.8k 6.2k 0.5 0.7 0.9 1.2 - 3183×-7640×
Hojas* 3.9k 6.3k 0.6 0.8 1.0 1.5 - 2626×-6566×

de la misma calidad visual que NeRF. Figura4y figura5 muestran
además que los cachés más pequeños aparecen 'pixelados' pero
conservan las características visuales generales de la escena. Esto es
similar a cómo se usan los diferentes niveles de detalle en los gráficos
por computadora [21], y una importante innovación en el camino hacia
mundos renderizados neuronalmente.
Escenarios desafiantes:Teorizamos que las superficies altamente
reflectantes podrían ser un desafío para nuestro método, ya queβ podría
tener que cambiar con una alta frecuencia dependiendo de la dirección de la
vista. En la Sección 1.1 del suplemento. materiales discutimos situaciones en
las que la red dependiente de la vista se sobreajusta a los datos de
entrenamiento y describimos una solución simple.
Resolución de caché:Como se muestra en la Tabla1, nuestro método
coincide o supera a NeRF en el conjunto de datos de objetos sintéticos
en10243resolución de caché. Debido a que nuestro método es lo
suficientemente rápido para visitar cada vóxel (a diferencia del recuento
de muestra fijo que se usa en NeRF), a veces puede lograr mejores
puntajes al no perder ningún detalle. Observamos que un caché de5123
es un buen compromiso entre calidad perceptiva, memoria y velocidad
de representación para el conjunto de datos sintético. Para el conjunto
de datos LLFF, encontramos un7683caché para que funcione mejor.
Para elBarcoescena, en la Tabla se muestra una ablación sobre el
tamaño de la cuadrícula, la memoria y el PSNR.3. Para las vistas llenas
de escenas LLFF en504×378píxeles, nuestro método ve una ligera

14352
Tabla 3. Influencia de la cantidad de componentes y la resolución de la cuadrícula en el PSNR y la memoria requerida para almacenar en caché la escena del barco. Observe cómo más factores
aumentan la dispersión de la cuadrícula. Encontramos que 8 o 6 componentes son un compromiso razonable en la práctica.
factores sin caché 2563
PSNR↑ Memoria PSNR↑ Memoria PSNR↑ Memoria PSNR↑
4 27.11decibelios- 24.81dB0.34ES26.29dB0.61ES26.94dB1.09ES27.54dB2.51ES
6 27.12decibelios- 24.82dB0.5ES 26.34dB0.93ES 27.0dB
8 27.24decibelios- 24.89dB0.71ES26.42dB1.41ES27.1dB
dieciséis 27.68decibelios- 25.07dB1.2ES26.77dB2.08ES27.55dB3.72ES28.3dB
Figura 6. Imágenes de rostros renderizadas usando FastNeRF combinadas con una
red de campo de deformación [30]. Gracias al uso de FastNeRF, las imágenes
condicionadas por la expresión se pueden renderizar a 30 FPS.
disminución en las métricas cuando se almacenan en caché en7683, pero aún produce
resultados cualitativamente convincentes como se muestra en la Figura5, donde se
conservan claramente los detalles intrincados.
Velocidad de representación:Cuando se utiliza una resolución de
cuadrícula de 7683, FastNeRF es en promedio más de3000×más rápido que
NeRF con prácticamente la misma calidad de percepción. Ver tabla2 para un
desglose de los tiempos de ejecución a través de varias resoluciones de la
memoria caché y la Figura3para una comparación con otras extensiones
NeRF en términos de velocidad. Tenga en cuenta que registramos el tiempo
que tarda nuestro método en llenar un búfer RGBA del tamaño de la imagen
con los valores de píxeles finales, mientras que la implementación de la línea
de base necesita realizar varios pasos para remodelar las muestras de nuevo
en imágenes. Nuestros núcleos CUDA no están muy optimizados, lo que
favorece la flexibilidad sobre el máximo rendimiento. Es razonable suponer
que la optimización avanzada del código y una mayor compresión de los
valores de la cuadrícula podrían conducir a mayores reducciones en el tiempo
de cómputo.
Número de componentes:Si bien podemos ver una mejora teórica
de aproximadamente0.5dB pasando de8adieciséiscomponentes,
encontramos que6o8los componentes son suficientes para la mayoría
de las escenas. Como se muestra en la Tabla3, nuestro caché puede
resaltar detalles finos que se pierden cuando solo se usa un recuento de
muestra fijo, compensando la diferencia. Mesa3también muestra que
más componentes tienden a ser cada vez más escasos cuando se
almacenan en caché, lo que compensa un poco el uso de memoria
adicional. Consulte el material complementario para obtener resultados
más detallados en otras escenas.
6. Aplicación
Demostramos una aplicación de prueba de concepto de Fast-NeRF para
un escenario de telepresencia recopilando primero un conjunto de datos
14353
3843 5123 7683
Memoria PSNR↑ Memoria
1.67ES 27.58dB4.1ES 27.72
2.7ES dB7.15ES 9.dieciséis
ES
de una persona realizando expresiones faciales durante unos 20
segundos en un equipo multicámara que consta de 32 cámaras
calibradas. Luego ajustamos un modelo de cara 3D similar a FLAME [13]
para obtener parámetros de expresión para cada cuadro. Dado que la
escena capturada no es estática, entrenamos un modelo FastNeRF de la
escena junto con un modelo de deformación [30] condicionado a los
datos de expresión. El modelo de deformación toma las muestras. pags
como entrada y salida sus posiciones actualizadas que viven en un
marco de referencia canónico modelado por FastNeRF.
Mostramos salidas de ejemplo producidas usando este enfoque en
la Figura6. Este método nos permite renderizar300×300imágenes de
píxeles de la cara a 30 fps en una sola GPU Nvidia Tesla V100, alrededor
de 50 veces más rápido que una configuración con un modelo NeRF.
Con la resolución que logramos, la expresión de la cara es claramente
visible y la alta velocidad de fotogramas permite la representación en
tiempo real, lo que abre la puerta a los escenarios de telepresencia. La
principal limitación en términos de velocidad y resolución de imagen es
el modelo de deformación, que debe ejecutarse para una gran cantidad
de muestras. Empleamos un método de poda simple, detallado en el
material complementario, para reducir el número de muestras.
Finalmente, tenga en cuenta que si bien entrenamos este método de
prueba de concepto en un conjunto de datos capturado con varias
cámaras, el enfoque se puede ampliar para usar una sola cámara, de
manera similar a [7].
Dado que FastNeRF usa el mismo conjunto de entradas y
salidas que las que se usan en NeRF, es aplicable a muchas de
las extensiones de NeRF. Esto permite acelerar los enfoques
existentes para: reconstrucción de escenas dinámicas [30,34,14
], reconstrucción de una sola imagen [39], mejora de la calidad
[35,47] y otros [28]. Con modificaciones menores, FastNeRF se
puede aplicar a más métodos que permiten controlar la
iluminación [2] e incorporación de la incertidumbre [22].
7. Conclusión
En este documento, presentamos FastNeRF, una extensión
novedosa de NeRF que permite la representación de imágenes
fotorrealistas a 200 Hz y más en hardware de consumo. Logramos
aceleraciones significativas sobre NeRF y los métodos de la competencia
al factorizar su aproximador de funciones, lo que permite un paso de
almacenamiento en caché que hace que la representación esté limitada
a la memoria en lugar de a la computación. Esto permite la aplicación
de NeRF a escenarios en tiempo real.
Referencias
[1] Mojtaba Bemana, Karol Myszkowski, Hans-Peter Seidel y
Tobias Ritschel. Campos X: interpolación implícita de
imagen neuronal, luz y tiempo.Transacciones ACM en
gráficos (Proc. SIGGRAPH Asia 2020), 39(6), 2020.1
[2] Sai Bi, Zexiang Xu, Pratul Srinivasan, Ben Mildenhall, Kalyan
Sunkavalli, Miloš Hašan, Yannick Hold-Geoffroy, David
Kriegman y Ravi Ramamoorthi. Campos de reflectancia
neuronal para la adquisición de apariencia, 2020.1,8
[3] Sai Bi, Zexiang Xu, Kalyan Sunkavalli, Miloš Hašan, Yannick Hold-Geoffroy,
David Kriegman y Ravi Ramamoorthi. Volúmenes de reflectancia profunda:
reconstrucciones que se pueden volver a encender a partir de imágenes
fotométricas de vistas múltiples, 2020.1,2
[4] Brian Cabral, Nelson Max y Rebecca Springmeyer. Funciones de
reflexión bidireccional a partir de mapas de relieve de superficie.
21(4):273–281, agosto de 1987.4
[5] Zhiqin Chen y Hao Zhang. Aprendizaje de campos implícitos para el
modelado generativo de formas.CoRR, abs/1812.02822, 2018.1
[6] Boyang Deng, Jonathan T. Barron y Pratul P. Srinivasan.
JaxNeRF: una implementación JAX eficiente de NeRF, 2020.
2 Kar. Fusión de campo de luz local: síntesis de vista práctica
[7] Guy Gafni, Justus Thies, Michael Zollhöfer y Matthias Nießner.
Campos de radiación neuronal dinámicos para la reconstrucción
de avatares faciales 4d monoculares. preimpresión de arXiv
arXiv:2012.03065, 2020.1,8
[8] Iliyan Georgiev, Jaroslav Křivánek, Tomáš Davidovič y Philipp
Slusallek. Simulación de transporte ligero con conexión y
fusión de vértices.ACM Trans. Grafico., 31(6):192:1– 192:10,
noviembre de 2012.4
[9] James T. Kajiya. La ecuación de renderizado.Cómputo SIGGRAFICO.
Grafico., 20(4):143–150, agosto de 1986.4,6
[10] Tero Karras, Samuli Laine y Timo Aila. Un estilo basado
Arquitectura generadora para redes antagónicas generativas,
2019.1
[11] María Kolos, Artem Sebastopolsky y Victor Lempitsky. Transpr:
Renderizador de punto de escena 3D neural con acumulación de rayos
de transparencia, 2020.3
[12] Christoph Lassner y Michael Zollhofer. Pulsar: representación
neuronal eficiente basada en esferas, 2020.3
[13] Tianye Li, Timo Bolkart, Michael J Black, Hao Li y Javier Romero.
Aprendizaje de un modelo de forma y expresión facial a partir de
escaneos 4d.ACM Trans. Grafico., 36(6):194–1, 2017.8
[14] Zhengqi Li, Simon Niklaus, Noah Snavely y Oliver Wang. Campos de flujo
de escena neuronal para la síntesis de vista de espacio-tiempo de
escenas dinámicas.preimpresión de arXiv arXiv:2011.13084, 2020.8
[15] David B. Lindell, Julien NP Martel y Gordon Wetzstein. Autoint:
integración automática para una rápida representación de
volumen neural.preimpresión de arXiv arXiv:2012.01714, 2020.1,3
[16] Lingjie Liu, Jiatao Gu, Kyaw Zaw Lin, Tat-Seng Chua y Christian
Theobalt. Campos de vóxeles dispersos neuronales, 2021.1,3,5
[17] Stephen Lombardi, Jason M. Saragih, Tomas Simon y Yaser Sheikh.
Modelos de apariencia profunda para la representación de
rostros. CoRR, abs/1808.00362, 2018.1
[18] Stephen Lombardi, Tomas Simon, Jason Saragih, Gabriel Schwartz,
Andreas Lehrmann y Yaser Sheikh. Volúmenes neuronales: aprendizaje
de volúmenes renderizables dinámicos a partir de imágenes.
ACM Trans. Grafico., 38(4):65:1–65:14, julio de 2019.1,2
14354
[19] Stephen Lombardi, Tomas Simon, Gabriel Schwartz, Michael
Zollhoefer, Yaser Sheikh y Jason Saragih. Mezcla de primitivas
volumétricas para una representación neuronal eficiente,
2021.1,3
[20] William E. Lorensen y Harvey E. Cline. Cubos de marcha: un
algoritmo de construcción de superficies 3D de alta resolución.
Cómputo SIG-GRAFICO. Grafico., 21(4):163–169, agosto de 1987.5
[21] David Luebke, Martin Reddy, Jonathan D. Cohen, Amitabh
Varshney, Benjamin Watson y Robert Huebner.Nivel de
detalle para gráficos 3D. Morgan Kaufmann Publishers Inc.,
San Francisco, CA, EE. UU., 2002.7
[22] Ricardo Martin-Brualla, Noha Radwan, Mehdi SM Sajjadi, Jonathan
T. Barron, Alexey Dosovitskiy y Daniel Duckworth. Nerf en la
naturaleza: campos de resplandor neuronal para colecciones de
fotos sin restricciones, 2021.1,8
[23] Lars M. Mescheder, Michael Oechsle, Michael Niemeyer,
Sebastian Nowozin y Andreas Geiger. Redes de ocupación:
Aprendizaje de reconstrucción 3d en espacio funcional.CoRR,
abs/1812.03828, 2018.1
[24] Ben Mildenhall, Pratul P. Srinivasan, Rodrigo Ortiz-Cayon, Nima
Khademi Kalantari, Ravi Ramamoorthi, Ren Ng y Abhishek
con pautas de muestreo prescriptivas.ACM Trans. Grafico.,
38(4), julio de 2019.1,5,6,7
[25] Ben Mildenhall, Pratul P Srinivasan, Matthew Tancik, Jonathan T
Barron, Ravi Ramamoorthi y Ren Ng. Nerf: representación de
escenas como campos de radiación neuronal para la síntesis de
vistas.preimpresión de arXiv arXiv:2003.08934, 2020.1,2,3,5, 6
[26] Ken Museth. Vdb: Volúmenes dispersos de alta resolución con
topología dinámica.ACM Trans. Grafico., 32(3), julio de 2013.5
[27] Oliver Nalbach, Elena Arabadzhiyska, Dushyant Mehta, HP Seidel y Tobias
Ritschel. Sombreado profundo: redes neuronales convolucionales para
el sombreado del espacio de la pantalla. Enforo de gráficos por
computadora, volumen 36, páginas 65–78. Biblioteca en línea de Wiley,
2017.1
[28] Thomas Neff, Pascal Stadlbauer, Mathias Parger, Andreas Kurz,
Chakravarty R. Alla Chaitanya, Anton Kaplanyan y Markus Steinberger.
Donerf: Hacia la representación en tiempo real de campos de radiación
neuronal utilizando redes de Oracle de profundidad, 2021.1, 3,5,8
[29] Jeong Joon Park, Peter Florence, Julian Straub, Richard A.
Newcombe y Steven Lovegrove. Deepsdf: aprendizaje de
funciones de distancia con signo continuo para la representación
de formas. CoRR, abs/1901.05103, 2019.1
[30] Parque Keunhong, Utkarsh Sinha, Jonathan T Barron, Sofien
Bouaziz, Dan B Goldman, Steven M Seitz y Ricardo-Martin
Brualla. Campos de radiación neural deformable.
preimpresión de arXiv arXiv:2011.12948, 2020.8
[31] Parque Keunhong, Utkarsh Sinha, Jonathan T. Barron, Sofien
Bouaziz, Dan B Goldman, Steven M. Seitz y Ricardo Martin-
Brualla. Campos de radiación neural deformable.
preimpresión de arXiv arXiv:2011.12948, 2020.1
[32] Steven G Parker, James Bigler, Andreas Dietrich, Heiko
Friedrich, Jared Hoberock, David Luebke, David McAllister,
Morgan McGuire, Keith Morley, Austin Robison, et al. Optix:
un motor de trazado de rayos de propósito general.
Transacciones Acm en gráficos (tog), 29(4):1–13, 2010.5
[33] M. Pharr, W. Jakob y G. Humphreys.Renderizado basado en [47] Kai Zhang, Gernot Riegler, Noah Snavely y Vladlen Koltun. Nerf++:
la física: de la teoría a la implementación. Elsevier Science, analizando y mejorando los campos de radiación neuronal.
2016.4 preimpresión de arXiv arXiv:2010.07492, 2020.8
[34] Albert Pumarola, Enric Corona, Gerard Pons-Moll y Francesc Moreno- [48] Richard Zhang, Phillip Isola, Alexei A. Efros, Eli Shechtman y Oliver
Noguer. D-nerf: Campos de radiación neural para escenas dinámicas. Wang. La efectividad irrazonable de las características profundas
preimpresión de arXiv arXiv:2011.13961, 2020.8 como métrica de percepción.CoRR, abs/1801.03924, 2018.5
[35] Daniel Rebain, Wei Jiang, Soroosh Yazdani, Ke Li, Kwang
Moo Yi y Andrea Tagliasacchi. Derf: Campos de radiación [49] Ellen D. Zhong, Tristan Bepler, Joseph H. Davis y Bonnie Berger.
descompuestos.preimpresión de arXiv arXiv:2011.12490, Reconstrucción de distribuciones continuas de estructuras de
2020.1,3,5,8 proteínas en 3D a partir de imágenes criogénicas, 2020.2
[36] Gernot Riegler y Vladlen Koltun. Síntesis de vista estable,
2020.1
[37] Pratul P. Srinivasan, Boyang Deng, Xiuming Zhang, Matthew
Tancik, Ben Mildenhall y Jonathan T. Barron. Nerv: Campos de
visibilidad y reflectancia neuronal para reiluminación y
síntesis de vistas, 2020.1
[38] Towaki Takikawa, Joey Litalien, Kangxue Yin, Karsten Kreis, Charles
Loop, Derek Nowrouzezahrai, Alec Jacobson, Morgan McGuire y
Sanja Fidler. Nivel de detalle geométrico neuronal: representación
en tiempo real con formas 3D implícitas, 2021.
3
[39] Matthew Tancik, Ben Mildenhall, Terrance Wang, Divi
Schmidt, Pratul P. Srinivasan, Jonathan T. Barron y Ren
Ng. Inicializaciones aprendidas para optimizar las representaciones
neuronales basadas en coordenadas, 2020.3,8

[40] Matthew Tancik, Pratul P. Srinivasan, Ben Mildenhall, Sara

Fridovich-Keil, Nithin Raghavan, Utkarsh Singhal, Ravi
Ramamoorthi, Jonathan T. Barron y Ren Ng. Las características de
Fourier permiten que las redes aprendan funciones de alta
frecuencia en dominios de baja dimensión, 2020.1,2
[41] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit,
Llion Jones, Aidan N Gomez, Łukasz Kaiser e Illia Polosukhin.
La atención es todo lo que necesitas. En I. Guyon,
UV Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan
y R. Garnett, editores,Avances en sistemas de procesamiento
de información neuronal, volumen 30. Curran Associates,
Inc., 2017.2
[42] Eric Veach y Leónidas J. Guibas. Combinación óptima de
técnicas de muestreo para el renderizado de monte carlo. En
Actas de la 22ª Conferencia Anual sobre Gráficos por
Computadora y Técnicas Interactivas, SIGGRAPH '95, página
419–428, Nueva York, NY, EE. UU., 1995. Asociación de
Maquinaria Informática.4
[43] Zhou Wang, Alan C Bovik, Hamid R Sheikh y Eero P Simoncelli. Evaluación
de la calidad de la imagen: de la visibilidad del error a la similitud
estructural.Transacciones IEEE sobre procesamiento de imágenes,
13(4):600–612, 2004.5
[44] Turner Whitted. Un modelo de iluminación mejorado para visualización
sombreada. EnCursos ACM Siggraph 2005, páginas 4–es. 2005. 6

[45] Lifan Wu, Guangyan Cai, Shuang Zhao y Ravi Ramamoorthi.

Gradientes armónicos esféricos analíticos para renderizado en
tiempo real con muchas luces de área poligonal.ACM Trans.
Grafico., 39(4), julio de 2020.4
[46] Wenqi Xian, Jia-Bin Huang, Johannes Kopf y Changil Kim. Campos de
irradiación neural espacio-tiempo para video de punto de vista libre.
preimpresión de arXiv arXiv:2011.12950, 2020.1

14355