Cómo transmitir datos MP3 a través de WebSockets con node.js y socket.io?

Question

Tengo problemas para transmitir datos de MP3 a través de WebSocket con node.js y socket.io. Todo parece funcionar, pero DecodeAudioData no juega limpio conmigo.

Este es mi servidor de juguete:

var app = require('http').createServer(handler) 
    , io = require('socket.io').listen(app) 
    , fs = require('fs') 

app.listen(8081); 

function handler (req, res) { 
    res.writeHead(200, { 
     'Content-Type': 'text/html', 
    }); 
    res.end('Hello, world!'); 
} 

io.configure('development', function() { 
    io.set('log level', 1); 

    io.set('transports', [ 'websocket' ]); 
}); 

io.sockets.on('connection', function (socket) { 
    console.log('connection established'); 

    var readStream = fs.createReadStream("test.mp3", 
             {'flags': 'r', 
              'encoding': 'binary', 
              'mode': 0666, 
              'bufferSize': 64 * 1024}); 
    readStream.on('data', function(data) { 
     console.log(typeof data); 
     console.log('sending chunk of data') 
     socket.send(data); 
    }); 

    socket.on('disconnect', function() { 
     console.log('connection droped'); 
    }); 
}); 

console.log('Server running at http://127.0.0.1:8081/'); 

El cliente recibe los datos como tipo cadena, pero quiero alimentar a los datos a decodeAudioData y parece que no le gusta cuerdas. La llamada a decodeAudioData da como resultado el siguiente mensaje de error:

Uncaught Error: SYNTAX_ERR: DOM Exception 12 

creo decodeAudioData necesita los datos almacenados en un ArrayBuffer. ¿Hay alguna forma de convertir los datos?

Este es el código de cliente:

<script src="http://127.0.0.1:8081/socket.io/socket.io.js"></script> 
<script> 
    var audioBuffer = null; 
    var context = null; 
    window.addEventListener('load', init, false); 
    function init() { 
     try { 
      context = new webkitAudioContext(); 
     } catch(e) { 
      alert('Web Audio API is not supported in this browser'); 
     } 
    } 

    function decodeHandler(buffer) { 
     console.log(data); 
    } 

    var socket = io.connect('http://127.0.0.1:8081'); 
    socket.on('message', function (data) { 
      // HERE IS THE PROBLEM 
     context.decodeAudioData(data, decodeHandler, function(e) { console.log(e); }); 
    }); 
</script> 

Answer 1

he encontrado una manera de transmitir datos MP3 a través de WebSockets mí mismo.

Un problema fue el tamaño del fragmento de los datos MP3. Parece que la API de Web Audio necesita alimentarse con fragmentos de MP3 válidos para poder decodificar los datos. Probablemente no sea sorprendente. En mi aplicación de demostración, proporciono un conjunto de archivos de fragmentos de MP3.

También la calidad del audio no es perfecta. Tengo algunas fallas técnicas sutiles. Pude mejorar eso enviando grandes cantidades de datos MP3, pero todavía hay pequeños crepitantes.

EDIT: Logré mejorar la calidad del audio. Parece que el método Web Audio decodeAudioData no está diseñado para decodificar fragmentos continuos de datos MP3.

Answer 2

En su caso context.decodeAudioData espera un ArrayBuffer de los datos binarios, sugeriría la conversión de su trozo de una cadena base64, a continuación, a un lado del cliente para ArrayBuffer los resultados más predecibles This script debe ser un buen punto de partida para la decodificación del lado del cliente desde base64 de los datos fragmentados.

Adición de una línea con data = Base64Binary.decodeArrayBuffer(data); justo después de conseguir sus datos (base 64 cadena codificada) haría el truco ...

Answer 3

Parece que socket.io todavía no es compatible con la transferencia binaria. Entonces websocket.io se puede usar aquí.

1. https://github.com/LearnBoost/socket.io/issues/511#issuecomment-2370129
2. https://github.com/LearnBoost/socket.io/issues/680#issuecomment-3083490