Me he enfrentado a un problema para obtener miles de millones de datos, se ralentizará la carga de datos y también cuando la escritura de datos de búsqueda también sea lenta. También verifiqué para obtener la paginación de datos, pero no funcionó.
use la paginación del lado del servidor en el lumen y también para la búsqueda, también use la indexación de datos para buscar resultados rápidos