3D Audio Engine

Question

A pesar de todos los avances en los motores gráficos 3D, me parece extraño que no se haya prestado el mismo nivel de atención al audio. Los juegos modernos hacen renderizaciones en tiempo real de escenas en 3D, pero aún así recibimos más o menos audio preincorporado que acompaña esas escenas.

Imagínese, si lo desea, un motor 3D que modele no solo la apariencia física de los elementos, sino también sus propiedades de audio. Y a partir de estos modelos, puede generar audio de forma dinámica en función de los materiales que entran en contacto, su velocidad, la distancia de sus oídos virtuales, etcétera. Ahora, cuando estés agachado detrás de los sacos de arena con balas volando sobre tu cabeza, cada uno producirá un sonido único y realista.

La aplicación obvia de una tecnología de este tipo sería el juego, pero estoy seguro de que hay muchas otras posibilidades.

¿Se está desarrollando activamente tal tecnología? ¿Alguien sabe de algún proyecto que intente lograr esto?

Gracias, Kent

Answer 1

Alguna vez investigué para mejorar OpenAL, y el problema con la simulación de audio 3D es que muchas de las señales que usa tu mente - la atenuación ligeramente diferente en varios ángulos, la diferencia de frecuencia entre los sonidos frente a ti y los que están detrás de ti son bastante específicos para tu propia cabeza y no son lo mismo para nadie más!

Si quieres, por ejemplo, un par de auriculares para hacer que suene como una criatura en las hojas delante y delante del personaje en un juego, entonces en realidad tienes que llevar a ese jugador a un estudio, medir cómo sus oídos y cabeza particulares cambian la amplitud y la fase del sonido a diferentes distancias (la amplitud y la fase son diferentes, y ambas son bastante importantes para la forma en que su cerebro procesa la dirección del sonido), y luego enseñan al juego a atenuar y cambiar los sonidos para ese jugador en particular.

Existen "cabezas estándar" que se han burlado con plástico y se utilizan para obtener curvas genéricas de respuesta de frecuencia para las diversas direcciones alrededor de la cabeza, pero un promedio o estándar nunca sonará bien para la mayoría de los jugadores.

Por lo tanto, la tecnología actual consiste básicamente en vender al jugador cinco parlantes baratos, hacer que los coloquen alrededor de su escritorio, y luego los sonidos, aunque no se reproducen adecuadamente, suenan como si estuvieran detrás o al lado jugador porque, bueno, ellos son viniendo del altavoz detrás del jugador. :-)

Pero a algunos juegos les molesta tener que calcular cómo se atenuará y atenuará el sonido a través de paredes y puertas (que pueden ser difíciles de simular porque el oído recibe el mismo sonido a unos milisegundos varios materiales y superficies reflectantes en el entorno, todo lo cual debería incluirse si las cosas parecieran realistas). Sin embargo, tienden a mantener sus bibliotecas en secreto, por lo que las implementaciones de referencia pública como OpenAL tienden a ser bastante primitivas.

Editar: Aquí hay un enlace a un conjunto de datos en línea que he encontrado en el momento, que podría ser utilizado como punto de partida para crear un campo de sonido OpenAL más realista, del MIT:

http://sound.media.mit.edu/resources/KEMAR.html

¡Disfrútalo! :-)

Answer 2

Aureal hicieron en 1998. Todavía tengo una de sus cartas, a pesar de que había necesidad de Windows 98 para ejecutarlo.

Imagine ray-tracing, pero con audio. Un juego que use la API de Aureal proporcionará información del entorno geométrico (por ejemplo, un mapa en 3D) y la tarjeta de audio podría rastrear el sonido. Fue exactamente como escuchar cosas reales en el mundo que le rodea. Puede enfocar sus ojos en las fuentes de sonido y atender a fuentes determinadas en un entorno ruidoso.

Según tengo entendido, Creative destruyó a Aureal mediante gastos legales en una serie de reclamaciones por infracción de patente (que fueron todas rechazadas).

En el mundo de dominio público, OpenAL existe - una versión de audio de OpenGL. Creo que el desarrollo se detuvo hace mucho tiempo. Tenían un enfoque de audio 3D muy simple, sin geometría, no mejor que EAX en el software.

EAX 4.0 (y yo creo que hay una versión posterior?) Finalmente - después de una década - Me que han incoporated parte de la información geométrica método de trazado de rayos Aureal utilizado (Creative compró su IP después de que se pliegan) .

Answer 3

El motor Source (Half-Life 2) en el SoundBlaster X-Fi ya lo hace.

Realmente es algo para escuchar. Definitivamente puede escuchar la diferencia entre un eco contra concreto vs madera contra vidrio, etc.

Answer 4

Una zona lateral poco conocida es la de voip. Mientras los juegos están desarrollando software activamente, es probable que pases tiempo hablando con otros mientras juegas.

Mumble (http://mumble.sourceforge.net/) es un software que usa complementos para determinar quién está contigo en el juego. Luego colocará su audio en un área de 360 ​​grados a su alrededor, por lo que la izquierda está a la izquierda, detrás de usted suena como tal. Esto hizo una adición espeluznantemente realista, y al probarlo dio lugar a divertidos juegos de "marko, polo".

El audio dio un enorme giro hacia atrás en la vista, donde ya no se permitía el uso del hardware para acelerarlo. Esto mató a EAX como lo fue en los días de XP. Los envoltorios de software se están construyendo gradualmente ahora.

Answer 5

campo muy interesante de hecho. Tan interesante, que voy a hacer mi tesis de maestría en este tema. En particular, es uso en shooters en primera persona.

Mi investigación de literatura hasta ahora ha dejado en claro que este campo particular tiene poca base teórica. No se han realizado muchas investigaciones en este campo, y la mayoría de las teorías se basan en la teoría del audio y la película.

En cuanto a las aplicaciones prácticas, no he encontrado ninguna hasta el momento. Por supuesto, hay muchos títulos y paquetes que admiten el procesamiento de efectos de audio en tiempo real y los aplican según el entorno general del auditor. por ejemplo, el auditor ingresa a una sala, por lo que se aplica un efecto de eco/reverberación en las muestras de sonido. Esto es bastante crudo Una analogía para las imágenes sería restar el 20% del valor RGB de la imagen completa cuando alguien apaga (o dispara;)) una de las cinco bombillas en la habitación. Es un comienzo, pero no es muy realista en absoluto.

El mejor trabajo que encontré fue una (2007) Tesis doctoral por Mark Nicholas Grimshaw, Universidad de Waikato, llamado The Accoustic Ecology of the First-Person Shooter Esta enorme localizador propone una configuración teórica para un motor de este tipo, así como la formulación de una gran cantidad de taxonomías y términos para analizar el juego de audio. También argumenta que la importancia del audio para los shooters en primera persona se pasa por alto, ya que el audio es una poderosa fuerza para emerger en el mundo del juego.

Sólo piénselo. Imagina jugar un juego en un monitor sin sonido, pero con gráficos perfectos. A continuación, imagina que oyes sonidos de juego realisic (juego) a tu alrededor, mientras cierras los ojos. Este último le dará una sensación mucho mayor de 'estar allí'.

Entonces, ¿por qué los desarrolladores de juegos no se han metido en esto de todo corazón? Creo que la respuesta es clara: es mucho más difícil de vender. Las imágenes mejoradas son fáciles de vender: solo da una imagen o una película y es fácil ver cuánto más bonita es. Incluso es fácilmente cuantificable (por ejemplo, más píxeles = mejor imagen). Para el sonido no es tan fácil. El realismo en el sonido es mucho más subconsciente y, por lo tanto, más difícil de comercializar.

Los efectos que el mundo real tiene en los sonidos se perciben inconscientemente. La mayoría de las personas nunca se da cuenta de la mayoría de ellos. Algunos de estos efectos ni siquiera se pueden escuchar conscientemente. Aún así, todos juegan un papel en el realismo percibido del sonido. Hay un experimento fácil que puedes hacer tú mismo que ilustra esto. La próxima vez que camine por la acera, escuche atentamente los sonidos de fondo del entorno: viento que sopla a través de las hojas, todos los automóviles en carreteras distantes, etc. Luego, escuche cómo cambia este sonido cuando se acerca o se aleja de él. una pared, o cuando camina bajo un balcón colgante, o cuando pasa una puerta abierta, incluso. Hazlo, escucha con atención y notarás una gran diferencia en el sonido. Probablemente mucho más grande de lo que alguna vez recuerdas.

En un mundo de juegos, este tipo de cambios no se reflejan. Y aunque no (aún) los echas de menos conscientemente, lo haces inconscientemente, y esto tendrá un efecto negativo en tu nivel de emergencia.

Entonces, ¿qué tan bueno debe ser el audio en comparación con la imagen? Más práctico: qué efectos físicos en el mundo real contribuyen más al realismo percibido. ¿Este realismo percibido depende del sonido y/o la situación? Estas son las preguntas que deseo responder con mi investigación. Después de eso, mi idea es diseñar un marco práctico para un motor de audio que podría aplicar de forma variable algunos efectos al audio de algunos o todos los juegos, dependiendo (dinámicamente) de la cantidad de potencia informática disponible. Sí, estoy estableciendo el listón bastante alto :)

Empezaré en septiembre de 2009. Si alguien está interesado, estoy pensando en configurar un blog para compartir mi progreso y mis hallazgos.

Janne Louw (BSc Computer Sciences Universidad de Leiden, Países Bajos)