Actualmente obtengo los datos históricos de ventas de la empresa de una API de terceros, y estos datos son necesarios para toda la vida del usuario con mi aplicación web. También necesito actualizaciones continuas de la misma API de terceros para obtener nuevos datos de ventas cada día.

Actualmente puedo manejar negocios con unos pocos miles de objetos en sus datos históricos, pero necesito escalar para manejar negocios con más de 100 000 objetos de datos históricos y más de 100 objetos nuevos agregados diariamente.

Cada vez que un usuario carga la aplicación, actualmente ejecuto una operación masiva para obtener todos los datos de la API de terceros. Actualmente no estoy almacenando ninguno de los datos de API de terceros en una base de datos.

El almacenamiento en caché de mis llamadas API actualmente se realiza localmente con el cliente apollo, uso MongoDb para guardar las entradas generales proporcionadas por el usuario y Redis para administrar las sesiones. También estoy usando Node JS, Next JS y Heroku.

Para manejar más de 100 000 objetos en la instalación y más de 100 objetos nuevos diariamente por usuario desde la API de terceros (todos los datos son vitales), ¿cómo debo abordar el almacenamiento y el almacenamiento en caché de los datos de la API?