Un modelo simple de tensorflow.js afecta negativamente el rendimiento del navegador.

He creado una aplicación para ejecutar un modelo simple de tfjs en la cámara en vivo en el navegador. El problema es que esto afecta completamente al rendimiento de la página web. La frecuencia de actualización es de alrededor de 1-2 fps y todo el navegador funciona con lentitud (otras pestañas, películas de YouTube, incluso la interfaz gráfica del sistema). Lo curioso es que, después de la primera ejecución del modelo, que es lenta (el modelo está compilado, por lo que es comprensible), el tiempo de ejecución del modelo está en el rango de 1.5-4 ms (medido como se muestra en el código a continuación). Por lo tanto, no debería ser un problema para el navegador.

if (navigator.mediaDevices.getUserMedia) {
    navigator.mediaDevices.getUserMedia({ video: true })
    .then(function (stream) {
        video.srcObject = stream;
    })
    .catch(function (_) {
        console.log("¡Algo salió mal!");
    });
}

let model = await tf.loadGraphModel('model/model.json')
let video = document.querySelector("#videoElement") as HTMLVideoElement;

async function do_inference()
{
  let startTime = performance.now();

  const image = tf.expandDims(tf.browser.fromPixels(video));
  const image_fl32 = tf.cast(image, 'float32');

  let final_pred = tf.tidy(() => 
  {
    return model.predict(image_fl32) as tf.Tensor4D;
  });

  image.dispose();
  image_fl32.dispose();
  final_pred.dispose();
  let total = performance.now() - startTime;
  console.log(total);

  if (running)
  {
    requestAnimationFrame(do_inference);
  }
}

Notas adicionales:

• El modelo es un modelo de convolución completamente simple. Básicamente, tiene unas pocas capas de convoluciones 3×3 y 5×5. También hice una prueba con un modelo aún más pequeño (2 capas) y presenta los mismos problemas.
• tfjs se ejecuta utilizando el backend “webgl”. Si se cambia a “wasm”, el tiempo de ejecución es mucho mayor (alrededor de 150-200 ms), pero el video es fluido. En producción, me gustaría utilizar un modelo aún más grande, por lo que no puedo aceptar ese tiempo de ejecución.
• Lo he probado en una RTX 3060, Ryzen de 32 hilos, 128 GB de RAM. Por lo tanto, la PC no debería ser un problema.
• Parece que no hay fugas de memoria en el lado de tfjs.
• El modelo se convierte desde un modelo “tensorflow.keras.Model” utilizando el método “Model.save” y luego utilizando tensorflowjs_converter@3.9 con “–output_format=tfjs_graph_model”.

¿Estoy haciendo algo mal? ¿Hay alguna forma de hacer que el video sea fluido?