El ícono en la pestaña se llama favicon y se establece mediante una metaetiqueta. El sitio web cambia el favicon a uno nuevo cada vez que cambia la cantidad de mensajes. Este es el código para cambiar el favicon (que normalmente puede ser cualquier archivo de imagen):

 document.querySelector("link[rel*='icon']").href = "[new favicon image url]";

Deberá tener imágenes diferentes para cada número de notificaciones. Puede hacerlo en el lado del cliente generando imágenes y usando createObjectURL ( leer más ), o puede tener imágenes y cargarlas desde el lado del servidor.