Este comportamiento suele ocurrir cuando la lógica de movimiento depende de eventos de teclado que dejan de actualizarse correctamente después de un periodo de inactividad, o cuando el estado del componente se "congela" debido a cierres (closures) obsoletos. En React Three Fiber también puede estar relacionado con el bucle de renderizado (useFrame) entrando en un estado de bajo consumo o con la pérdida de foco de la ventana.

Revisaría especialmente cómo gestionas el estado de las teclas, si el movimiento se ejecuta dentro de useFrame, y si existe alguna optimización que suspenda las actualizaciones cuando no hay interacción. Compartir el código del componente y de la lógica de entrada ayudaría a identificar la causa exacta.