Tengo muchos mensajes de texto cortos y oraciones, la mayoría de ellos no tienen un contexto (y sentido) común. Y son bilingües (en una frase pueden ser tipos de palabras en inglés y otro idioma (cirílico)). Y necesito entender de alguna manera cuál de las oraciones 'tiene sentido' y no una combinación aleatoria de palabras.
Y tengo una enorme lista de palabras, como una lista blanca (contemos que tiene N longitud) por la cual puedo determinar que frase o texto es útil y así sucesivamente.
Si la frase tiene más de dos o tres palabras de la lista blanca, se determina que tiene sentido. (En realidad, no hay una sola lista, sino tres, con su propia prioridad, etc.
Por supuesto, hay varias formas de encontrar estas palabras en frases de texto JS/TS una por una.
Por ejemplo, formar oraciones como una matriz de palabras y verificarlas a través .include o verificar cadenas a través de Regexp. Pero supongo que NER es una elección perfecta para este problema.
Traté de usar DeepPavolov para esto, pero según tengo entendido, tiene palabras preconstruidas en su vocabulario. Pero en este caso, debería entrenar a mi modelo y estoy muy familiarizado con Python.
Por otro lado, tengo bibliotecas como NLP.js (mal tipeadas) y comprometidas , pero nunca las uso y no sé qué tan útiles podrían ser.
Y supongo que debería haber algún tipo de solución NER en línea, en la que pudiera desarrollar mi vocabulario en línea a través de la interfaz de usuario.
Entonces mi pregunta es: ¿debería usar algún tipo de solución NER? Y si tienes algún consejo, estaré encantado de recibirlo. ¿O hay alguna otra opción disponible que pueda resolver mi problema? Estoy tratando con mecanografiado/javascript y node.js del lado del servidor. Así que tengo suficiente tiempo y recursos para analizar, pero no puedo lidiar con python y Jupiter Notebook y otras cosas de ML, ya que no tengo mucha experiencia con ellos.