Esto es exactamente lo que estoy haciendo aquí como mi proyecto :) último año, excepto una cosa que mi proyecto es sobre el seguimiento del tono de la voz cantante humana (y no tengo que el robot tocar la canción)
Por cierto, los datos brutos de FFT no serán suficientes para determinar la frecuencia fundamental. Necesita algoritmo como Harmonic Product Spectrum para obtener el F0.
Otra consideración es la fuente de audio. Si vas a hacer FFT y aplicar Harmonic Product Spectrum en él. Deberá asegurarse de que la entrada solo tenga una fuente de audio. Si contiene múltiples fuentes, como en las canciones modernas, habrá muchas frecuencias para considerar.
armónica del espectro del producto Teoría
Si la señal de entrada es una nota musical, entonces su espectro debe consistir en una serie de los picos, correspondientes a frecuencia fundamental con armónicos componentes en múltiplos enteros de la frecuencia fundamental . Por lo tanto, cuando comprime el espectro un número de veces (disminución de muestreo), y lo comparamos con el espectro original, podemos ver que el armónico más fuerte alcanza la línea arriba. El primer pico en el espectro original coincide con el segundo pico en el espectro comprimido por un factor de dos, que coincide con el tercer pico en el espectro comprimido por un factor de tres. Por lo tanto, cuando los diversos espectros son multiplicados juntos, el resultado será pico claro en la frecuencia fundamental .
Método
En primer lugar, se divide la señal de entrada en segmentos mediante la aplicación de una ventana de Hanning, donde el tamaño de ventana y tamaño de salto son dada como una entrada. Para cada ventana, , utilizamos la Transformada Fourier de corta duración para convertir la señal de entrada del dominio de tiempo al dominio de frecuencia . Una vez que la entrada está en el dominio de frecuencia , aplicamos la técnica de espectro de producto armónico al en cada ventana.
El HPS implica dos pasos: disminución de muestreo y multiplicación. Para disminuir la resolución, comprimimos el espectro dos veces en cada ventana por remuestreo: primera vez, que comprimir el espectro original por dos y la segunda vez, por tres. Una vez que este es completado, multiplicamos los tres espectros juntos y encontramos la frecuencia que corresponde al pico (valor máximo). Esta frecuencia particular de representa la frecuencia fundamental de esa ventana en particular.
Limitaciones del método SPH
Algunas características interesantes de este método incluyen: es computacionalmente barato, razonablemente resistente a aditivo y multiplicativo ruido, y ajustable a diferentes tipos de entradas . Por ejemplo, podríamos cambiar el número de espectros comprimidos a uso, y podríamos reemplazar la multiplicación espectral con una adición espectral de . Sin embargo, dado que la percepción del tono humano es básicamente logarítmica, esto significa que los tonos bajos pueden ser rastreados con menos precisión que los tonos altos .
Otro grave déficit del método SPH es que su resolución es sólo tan buena como la longitud de la FFT utilizado para calcular el espectro. Si nos ejecutar una FFT de corto y rápido, estamos limitada en el número de frecuencias discretas podemos considerar. Con el fin para obtener una resolución más alta en nuestra producción (y por lo tanto ver menos grado de aspereza en nuestra salida de tono), que que tomar una FFT de largo que requiere más tiempo.
¿Cómo se maneja esto con la inarmonía de los instrumentos reales? Los armónicos son cada vez más agudos de los múltiplos ideales cuanto más alto se vaya. – endolith