Tengo un contenedor (una aplicación de aprendizaje automático) que es capaz de cargar modelos ml previamente entrenados almacenados en un volumen persistente. Puedo pedirle a la aplicación que cargue un modelo en particular dando su nombre a través de su API REST.
Ahora quiero ampliar esta aplicación para poder cargar cualquier modelo, en cualquiera de las réplicas (no en todas) y poder analizar datos de ese modelo.
Sé que esto se puede hacer al tener múltiples implementaciones y múltiples servicios apuntando a cada una de esas implementaciones para que cada instancia tenga un puerto de nodo separado y pueda acceder a la API REST de cada instancia a través de estos diferentes puertos de nodo. Al hacer esto, puedo mantener un registro de qué modelo está cargado en qué instancia en el mío.
¿Hay alguna forma recomendada de cumplir con este requisito sin tener múltiples implementaciones pero a través de réplicas? (Como mantener un solo archivo de implementación con réplicas y un equilibrador de carga manual en el nivel de servicio)
Como mencionó, la forma preferida de lograr esto es a través de múltiples implementaciones y servicios.
A menos que se creen manualmente, la implementación administra los conjuntos de réplicas y no podrá tener una sola implementación con varios conjuntos de réplicas que ejecutan diferentes versiones.
Definitivamente será más fácil para usted tener un servicio + implementación por versión y un solo ingreso al frente para enrutar el tráfico en función de alguna información. Podría ser un encabezado, subdominio, ruta, etc.
Para generar todas sus implementaciones y servicios, puede echar un vistazo a kustomize .