Mi pregunta es si podríamos agregar solicitudes ajax no permitidas en robots.txt en codeigniter. ¿Es obligatorio agregar el archivo robots.txt en el directorio de inicio o lo colocamos en vistas con rutas definidas?