Así es como se ve mi arquitectura:

(obtener transmisión de video desde la cámara web) => (obtener cada cuadro en transmisión y convertirlo en una matriz de bytes) => (enviar bytes al servidor web usando websocket) => (transmitir bytes a suscriptores en línea en diferentes navegadores y dispositivos).

Quiero que todos estos procesos se realicen sin conexión para descartar webrtc, ya que requiere servidores de señalización de giro y giro, y no creo que me proporcione la capacidad de acceder a cuadros de video y audio para generar matrices de bytes a partir de ellos para su posterior procesamiento. ...

No quiero usar webrtc. Ya intenté usar mediarecorder, funciona bien, pero hay algunos lapsos de tiempo de unos pocos milisegundos que no son ideales para mi aplicación y el procesamiento general y las conversiones de cuadros de video a matriz de bytes simplemente consumen todo el espacio de mi procesador al 100%. ¿Hay alguna forma de acceder a los fotogramas de video y audio desde mediaDevices.getUserMedia({video: true,audio: true}) y transmitirlos a un servidor remoto?

Necesito un algoritmo, una biblioteca, una tecnología o un empujón en la dirección correcta.

También podría proporcionar códigos fuente si se solicita.