¿No se supone que debe identificar automáticamente el archivo como JSX? Todas las llaves, html, etc.

Establecer jsx como predeterminado para mis archivos js no funcionó, pero investigué un poco más y descubrí que puedo cambiar todas las extensiones de archivo js a jsx, lo que no bloqueará React.