He encontrado un problema interesante con la codificación de caracteres en postgresql. El problema ocurre al buscar en la tabla usando el operador ILIKE y usando caracteres que no son ASCII ('ä','ö',...) en el término de búsqueda. Parece que los resultados de la búsqueda difieren según la codificación del término de búsqueda (ya que puede codificar estos caracteres que no son ascii de muchas maneras diferentes).
Sé con certeza que tengo en algunas tablas (dentro de columnas de 'variación de caracteres') caracteres que no son ascii con codificación UTF-8 y también con alguna otra codificación (tal vez latin-1, no estoy seguro). Por ejemplo, el carácter 'ä' está presente a veces como representación UTF-8 correcta 'C3 A4' pero a veces así: '61 cc 88'. Esto probablemente se deba al hecho de que importé algunos datos heredados a la base de datos que no estaban en UTF-8. Esto no es un problema la mayoría de las veces, ya que se presentan correctamente en la interfaz de usuario de la aplicación web. Sólo la búsqueda es el problema. Es decir, no puedo encontrar una manera de hacer que la búsqueda encuentre todas las entradas relevantes en la base de datos, ya que los resultados varían según la codificación del término de búsqueda (=básicamente, el problema es que la búsqueda no obtiene los datos heredados correctamente, ya que tiene caracteres que no son ascii mezclado).
Aquí están los hechos en la aplicación:
¿Alguna idea de qué hacer?
Editar: Encontré una buena página sobre la normalización de Unicode en Postgresql: https://www.2ndquadrant.com/en/blog/unicode-normalization-in-postgresql-13/