Creé una aplicación que llama periódicamente a la API de Twitter para recuperar tweets para 200 palabras clave diferentes y almacenarlos en una base de datos.
Para este propósito, uso el paquete de Twitter para Node.js :
twitterClient.get('search/tweets', { q : '$' + keyword, result_type : 'recent', count : '100' }Todo el proceso toma alrededor de 4 minutos cuando se realiza secuencialmente.
Así que me gustaría hacer las llamadas a la API de Twitter en paralelo usando Promise.allSettled() para mejorar el rendimiento.
De esta forma el proceso es mucho más rápido (unos 20 segundos). El problema es que causa muchos errores como "Error: JSON parseError with HTTP Status: 200 OK". Entonces fallan unas 25 llamadas.
¿Por qué pasó esto? ¿Como puedó resolver esté problema?
EDITAR
Ya uso Promise.allSettled() para recuperar periódicamente información sobre 200 usuarios diferentes:
twitterClient.get('users/show', { screen_name: userTwitterName }En este caso no tengo ningún problema.