Javascript permite cambios de bits, pero tenga cuidado con la precedencia del operador. Los paréntesis son necesarios aquí.

 function colorInteger(r,g,b){ return (r<<16) + (g<<8) + b }

Ahora colorInteger(66,135,245) da 4360181
Y '#' + colorInteger(66,135,245).toString(16) da "#4287f5"

Para obtener un número entero del valor hexadecimal (sin #), puede usar parseInt('4287f5',16) . También puede recuperar los valores r,g,b de eso usando operaciones de bits.

 function getRGB(hexadecimal_string){ let intVal = parseInt(hexadecimal_string,16); let r = intVal >> 16; let g = (intVal >> 8) & 0xff let b = intVal & 0xff return [r,g,b] }

No estoy seguro de entender su intención, pero a partir de la respuesta en otro hilo ( orden de bytes para imágenes empaquetadas ), un solo número entero como ARGB se representa como [B, G, R, A] en máquinas little-endian.