Creé la primera aplicación web (python y django) que muestra los marcos de la cámara web del cliente
Este es mi video.js
'use strict'; // On this codelab, you will be streaming only video (video: true). const mediaStreamConstraints = { video: true, }; // Video element where stream will be placed. const localVideo = document.querySelector('video'); // Local stream that will be reproduced on the video. let localStream; // Handles success by adding the MediaStream to the video element. function gotLocalMediaStream(mediaStream) { localStream = mediaStream; localVideo.srcObject = mediaStream; } // Handles error by logging a message to the console with the error message. function handleLocalMediaStreamError(error) { console.log('navigator.getUserMedia error: ', error); } // Initializes media stream. navigator.mediaDevices.getUserMedia(mediaStreamConstraints) .then(gotLocalMediaStream).catch(handleLocalMediaStreamError); Sin embargo, quiero usar el marco de la cámara web del cliente como entrada para mi archivo de secuencia de comandos de aprendizaje automático (python .py).
En local, se hizo fácilmente a través de opencv y numpy.
Pero en la web, no puedo enviar marcos al modelo ML.
¿Alguna sugerencia?
webrtc es una conexión de igual a igual para que los clientes puedan conectarse a la ruta más directa posible, sin interferencia del servidor (cuando se necesitan conexiones cliente-servidor, webrtc no es tan útil como sockets o gRPC). por lo tanto, si desea redirigir los datos de un par al modelo de ML, debe conectarlo directamente al modelo de ML como el otro par. para hacerlo, una forma sería crear un cliente webrtc nativo de python para su controlador de modelo ML , en ese caso, puede encontrar útil este repositorio de GitHub .
otra forma de conexión en tiempo real sería un controlador proxy que beneficie la conexión de socket UDP de la vieja escuela o la transmisión gRPC entre su controlador webrtc en el navegador y el controlador ML en el servicio de procesamiento
Todavía tenemos la conexión de socket antigua y probada en batalla ( canales django ) o las opciones de servidor cilent más nuevas, como la transmisión gRPC.