No estoy exactamente seguro de por qué esperabas un "radio perfecto" (supongo que te refieres a un círculo perfecto) aquí. La distancia desde el ecuador hasta el polo norte es de solo 10.000 km. Entonces, un círculo con un radio de 11,000 km, incluso si estuviera situado en el ecuador, se extendería más allá de los polos norte y sur. Su círculo en realidad se volvería más pequeño nuevamente (porque los puntos más al norte y al sur se acercarían entre sí en el otro lado del planeta). Algo similar está sucediendo al este y al oeste: los puntos este y oeste comienzan a acercarse entre sí en el lado opuesto.

En cuanto a los problemas específicos que está viendo, la proyección de Web Mercator (que usa Mapbox) solo se define en alrededor de 85 grados al norte y al sur, por lo que su círculo estaría fuera de los límites de un mapa de Mapbox. Esa puede ser la causa de ello.

TL, DR: La Tierra no es lo suficientemente grande para lo que estás tratando de hacer.