Tengo un clasificador multiclase Tensorflow que genera nan o inf mientras calcula las probabilidades usando tf.nn.softmax . Vea el siguiente fragmento ( logits tiene la forma de tamaño de batch_size x 6 , ya que tengo 6 clases y la salida está codificada en caliente). batch_size es 1024.
logits = tf.debugging.check_numerics(logits, message='bad logits', name=None) probabilities = tf.nn.softmax(logits=logits, name='Softmax') probabilities = tf.debugging.check_numerics(probabilities, message='bad probabilities', name=None) El clasificador falla en la última declaración ya que encuentra nan o inf en probabilities . los logits están limpios, de lo contrario, la primera declaración habría fallado.
Por lo que leí sobre tf.nn.softmax , puede manejar valores muy grandes y muy pequeños en logits. He verificado esto en modo interactivo.
>>> with tf.Session() as s: ... a = tf.constant([[1000, 10], [-100, -200], [3, 4.0]]) ... sm = tf.nn.softmax(logits=a, name='Softmax') ... print(a.eval()) ... print(sm.eval()) ... [[1000. 10.] [-100. -200.] [ 3. 4.]] [[1. 0. ] [1. 0. ] [0.26894143 0.7310586 ]] Luego intenté recortar los valores en logits y ahora todo funciona. Vea el fragmento modificado a continuación.
logits = tf.debugging.check_numerics(logits, message='logits', name=None) safe_logits = tf.clip_by_value(logits, -15.0, 15.0) probabilities = tf.nn.softmax(logits=safe_logits, name='Softmax') probabilities = tf.debugging.check_numerics(probabilities, message='bad probabilities', name=None) En la segunda declaración, estoy recortando los valores en logits a -15 y 15, y eso de alguna manera evita nan / inf en el cálculo softmax. Entonces, pude solucionar el problema en cuestión.
Sin embargo, todavía no entiendo por qué funciona este recorte. (Debo mencionar que el recorte entre -20 y 20 no funciona y el modelo falla con nan o inf en probabilities ).
¿Podría alguien ayudarme a entender por qué este es el caso?
Estoy usando tensorflow 1.15.0, ejecutándome en una instancia de 64 bits.
El primer lugar para buscar fueron los valores mismos, lo cual ya hizo. El segundo lugar para buscar serían los gradientes. Incluso si el valor parece razonable, si el gradiente es muy pronunciado, la función backprop eventualmente explotará el gradiente y el valor.
Por ejemplo, si los logits son generados por algo como log(x), una x de 0.001 generará -6.9. Parece bastante benigno. ¡Pero el gradiente es 1000! Eso explotaría rápidamente los gradientes y valores durante backprop / forward prop.
# Pretend this is the source value that is fed to a function that generates the logit. >>> x = tf.Variable(0.001) # Let's operate on the source value to generate the logit. >>> with tf.GradientTape() as tape: ... y = tf.math.log(x) ... # The logit looks okay... -6.9. >>> y <tf.Tensor: shape=(), dtype=float32, numpy=-6.9077554> # But the gradient is exploding. >>> tape.gradient(y,x) <tf.Tensor: shape=(), dtype=float32, numpy=999.99994> >>>Recortar el logit parecería centrarse en generar valores más pequeños para alimentar a softmax, pero probablemente no sea por eso que está ayudando. (De hecho, softmax puede manejar un logit con el valor tf.float32.max sin problema, por lo que es muy poco probable que el problema sea el valor del logit). Lo que realmente puede estar sucediendo es que cuando recorta a 15, también está configurando el gradiente a cero cuando el logit sería de otro modo 20 con un gradiente explosivo. Por lo tanto, recortar el valor también introduce un degradado recortado.
# This is same source variable as above. >>> x = tf.Variable(0.001) # Now let's operate with clipping. >>> with tf.GradientTape() as tape: ... y = tf.clip_by_value(tf.math.log(x), -1., 1.) ... # The clipped logit still looks okay... >>> y <tf.Tensor: shape=(), dtype=float32, numpy=-1.0> # What may be more important is that the clipping has also zeroed out the gradient >>> tape.gradient(y,x) <tf.Tensor: shape=(), dtype=float32, numpy=0.0>